2017年9月2日土曜日

Markov Chains and Monte Carlo Methods 02日目

Ioana A. Cosma and Ludger Evers, Markov Chains and Monte Carlo Methods
http://users.aims.ac.za/~ioana/notes.pdf
CC-by-nc-sa 2.5

1.3 General state space Markov chains

の場合の議論を始める. より一般的な場合にも定義できるのだが,ここではとする.

Definition 1.23 (Markov chain)

はdiscrete time stochastic processで, state spaec とする. がMarkov property を満たす

ただしの可測集合族とする.
以後,Markov chainはhomogeneousとする.すなわち によらない. このときtransition kernel によって

として得られる. というのはが与えられたときののconditional probability densityである. def. 1.8におけるというのはdiscrete spaceにおけるconting measureであって,(1.3)の式に合致する.
さらに

だから,-step transiton kernelは

であり,

と簡潔に書ける.

Example 1.15 (Gaussian random walk on )

上のrandom walkを

とすると,

と同値. と独立とし, とすれば,

よってはMarkov chainであり,しかも

である.ただしである.したがって.
-step transition kernelは(1.3)によって計算できるが,非常に複雑になる. それよりも

を利用すれば,が成立して,

したがって

-step kernelとして得られる.

Definition 1.24 (Irreducibility)

上の分布が与えられて, Markov chain -irreducibleである


が任意のなると任意のに成立するようなが存在するとき-irreducibleといい,特に任意ので成立するときstrongly -irreducibleという.

Example 1.16 (Gaussian random walk (continued))

ex. 1.15でを見た. が任意のnullでないに成立するから,これは任意のcontinuous distributionにstrongly irreducibleである.

periodicity, recurrence, そしてtransienceのような概念をが連続的なMakov chainに導入するため, atomssmall setsのような概念を導入する必要があって,これらはこのノートの範囲を超えるので,recurrenceのみを一般化する.
section 1.2.3で定義したの場合のrecurrenceとは,全てのstateがそれを初期のstateとしたとき,平均して無限回訪れられることであった. が連続である場合には,あるstate一点ではなく,stateの集合たちを考えることになる. として,が訪れられる回数をあらわす. expected valueを考えると

である. recurrenceをMarkov chain全体に定義する前に,集合のrecurrenceを定義する.

Definition 1.25 (Recurrence)

(a) がMarkov chain においてrecurrentである
任意の

(b) Markov chain がrecurrent

(i) はある分布に対して-irreducibleであって,かつ
(ii) 任意のはrecurrent

定義より,recurrent setとは平均して無限回訪れられる集合であって,より強い命題に,その集合が無限回訪れられる確率が1であるというのがある. この強い性質によって定義できるrecurrenceをHarris Recurrenceという.

Definition 1.26 (Harris Recurrence)

(a) にHarris-recurrentである

(b) Markov chain がHarris-recurrent

(i) はある-irreducible
(ii) 任意のはHarris-recurrent

Harris recurrenceはrecurrenceを導くことは明らかで,discreteの場合2つは一致する.
どちらの概念も成立を証明することは非常に困難だが,あるMarkov chainがirreducibleで唯一のstationary distributionをもつならばrecurrentであるという命題を主張する. その前に,stationaryを定義する.

Definition 1.27 (Stationary distribution)

分布PDFをもつ分布がtransition kernel をもつのstationary distibutionである

Proposition 1.28 (証明略)

-irreducible Markov chainで,を唯一のstationary distibutionにもつなら,はrecurrentである.

また,def. 1.27によってstationarityを確かめるのは困難なので,discreteの場合と同様により簡単な十分条件を定義する.

Definition 1.29 (Detailed balance)

transition kernel がdistribution にdetailed balanceである

theorem 1.22と同様に,によってdetailed balanceなMarkov chain はtime-reversibleでのstational distibutionである.

0 件のコメント:

コメントを投稿