Ioana A. Cosma and Ludger Evers, Markov Chains and Monte Carlo Methods
http://users.aims.ac.za/~ioana/notes.pdf
CC-by-nc-sa 2.5
- 1.3 General state space Markov chains
- Definition 1.23 (Markov chain)
- Example 1.15 (Gaussian random walk on R\mathbb{R})
- Definition 1.24 (Irreducibility)
- Example 1.16 (Gaussian random walk (continued))
- Definition 1.25 (Recurrence)
- Definition 1.26 (Harris Recurrence)
- Definition 1.27 (Stationary distribution)
- Proposition 1.28 (証明略)
- Definition 1.29 (Detailed balance)
- 1.3 General state space Markov chains
1.3 General state space Markov chains
の場合の議論を始める. より一般的な場合にも定義できるのだが,ここではとする.
Definition 1.23 (Markov chain)
はdiscrete time stochastic processで, state spaec はとする. がMarkov property を満たす
ただしはの可測集合族とする.
以後,Markov chainはhomogeneousとする.すなわち はによらない. このときtransition kernel によって
として得られる. というのはが与えられたときののconditional probability densityである. def. 1.8におけるというのはdiscrete spaceにおけるconting measureであって,(1.3)の式に合致する.
さらに
だから,-step transiton kernelは
であり,
と簡潔に書ける.
Example 1.15 (Gaussian random walk on )
上のrandom walkを
とすると,
と同値. はと独立とし, とすれば,
よってはMarkov chainであり,しかも
である.ただしである.したがって.
-step transition kernelは(1.3)によって計算できるが,非常に複雑になる. それよりも
を利用すれば,が成立して,
したがって
が-step kernelとして得られる.
Definition 1.24 (Irreducibility)
上の分布が与えられて, Markov chain が-irreducibleである
が任意のなると任意のに成立するようなが存在するとき-irreducibleといい,特に任意のにで成立するときstrongly -irreducibleという.
Example 1.16 (Gaussian random walk (continued))
ex. 1.15でを見た. が任意のnullでないに成立するから,これは任意のcontinuous distributionにstrongly irreducibleである.
periodicity, recurrence, そしてtransienceのような概念をが連続的なMakov chainに導入するため, atomsやsmall setsのような概念を導入する必要があって,これらはこのノートの範囲を超えるので,recurrenceのみを一般化する.
section 1.2.3で定義したの場合のrecurrenceとは,全てのstateがそれを初期のstateとしたとき,平均して無限回訪れられることであった. が連続である場合には,あるstate一点ではなく,stateの集合たちを考えることになる. として,が訪れられる回数をあらわす. expected valueを考えると
である. recurrenceをMarkov chain全体に定義する前に,集合のrecurrenceを定義する.
Definition 1.25 (Recurrence)
(a) がMarkov chain においてrecurrentである
任意のに
(b) Markov chain がrecurrent
(i) はある分布に対して-irreducibleであって,かつ
(ii) 任意のはrecurrent
定義より,recurrent setとは平均して無限回訪れられる集合であって,より強い命題に,その集合が無限回訪れられる確率が1であるというのがある. この強い性質によって定義できるrecurrenceをHarris Recurrenceという.
Definition 1.26 (Harris Recurrence)
(a) がにHarris-recurrentである
(b) Markov chain がHarris-recurrent
(i) はあるに-irreducible
(ii) 任意のはHarris-recurrent
Harris recurrenceはrecurrenceを導くことは明らかで,discreteの場合2つは一致する.
どちらの概念も成立を証明することは非常に困難だが,あるMarkov chainがirreducibleで唯一のstationary distributionをもつならばrecurrentであるという命題を主張する. その前に,stationaryを定義する.
Definition 1.27 (Stationary distribution)
分布PDFをもつ分布がtransition kernel をもつのstationary distibutionである
Proposition 1.28 (証明略)
が-irreducible Markov chainで,を唯一のstationary distibutionにもつなら,はrecurrentである.
また,def. 1.27によってstationarityを確かめるのは困難なので,discreteの場合と同様により簡単な十分条件を定義する.
Definition 1.29 (Detailed balance)
transition kernel がdistribution にdetailed balanceである
theorem 1.22と同様に,によってdetailed balanceなMarkov chain はtime-reversibleではのstational distibutionである.
0 件のコメント:
コメントを投稿