Markov Chains and Monte Carlo Methods 03日目

Ioana A. Cosma and Ludger Evers, Markov Chains and Monte Carlo Methods
http://users.aims.ac.za/~ioana/notes.pdf
CC-by-nc-sa 2.5
http://creativecommons.org/licenses/by-nc-sa/2.5/za/legalcode

• • • 1.4 Ergodic theorems
      • Theorem 1.30 (Ergodic Theorem) 証明略
      • Example 1.17

1.4 Ergodic theorems

Makrov chainを観測して,そのstationary distributionを推測する方法とその条件を考える. IIDな確率変数の列では大数の法則が観測した値の平均によって期待値を推測することが正当化される一方,Markov chainではErgodic theorems (エルゴード性に関する諸定理)によって似たような主張が出来る. これらはMarkov Chain Monte Carlo(MCMC) を正当化する根拠でも有る.

Theorem 1.30 (Ergodic Theorem) 証明略

$X$は$\mu$-irreducibleかつrecurrentな$\mathbb{R}^d$上の Markov chainで,stationary distribution $\mu$をもつとする. このとき$g: \mathbb{R}^d \rightarrow \mathbb{R}$があって,確率1で
$$\lim_{t\rightarrow \infty} \frac{1}{t}\sum_{i=1}^t g(X_i)\rightarrow E_\mu[g(X)]=\int_S g(x)f_\mu(x)dx$$
がほとんどすべての初期値$X_0=x$に成立する. また,$X$がHarris-recurrentであればこれは任意の初期値$X_0=x$で成立する.

左辺は$g$の時間的な平均であり,右辺は$g$の空間的な期待値と考えることが出来る.
ex. 1.17はrecurrenceやirreducible性がth. 1.30の仮定に必要であることの例である.

Example 1.17

$S= \{1, 2\}$でtransition matrix $\mathbf{K} = (\begin{array}{} 1 & 0 \\ 0 & 1\end{array})$をもつdiscrete Markov chainを考える.
任意の$\mu$がstationary distributionであり,さらにこのchainはirreducibleでもrecurrentでもない. $\mu = (\alpha, 1-\alpha)^T$ならば任意の$t$に
$$P(X_t=1)=\alpha, P(X_t=2) = 1-\alpha$$
が成立する. 一方sample pathはただ(1, 1, 1,…)か(2, 2, 2,…)しかありえず,どちらを一つだけ得たとしても$\alpha$や$X_t$についての推測はできない. このchainは$S$をexploreできないためであり,様々な推測をするには複数のsample pathが必要となる.