MIT OCW, Fundamentals of Probability 18日目 確率変数の収束の関係性

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 17. Convergence of Random Variables

• Lecture 17. Convergence of Random Variables
  • 3. The Hierarchy of Convergence Concepts
    • • Theorem 17-2
    • 3.1 Convergence Almost Surely Versus in Probability
    • 3.2 Convergence in Probability Versus in Distribution
    • 3.3 Convergence in Distributuion Versus Characteristic Functions
      • Theorem 17-3 Countinuity of inverse transfroms (証明略)
      • Theorem 17-4 Continuity of inverse transforms (証明略)

3. The Hierarchy of Convergence Concepts

Theorem 17-2

$$[X_n \rightarrow^{\text{a.s.}} X] \Rightarrow [X_n \rightarrow^{\text{i.p.}} X] \Rightarrow [X_n \rightarrow^\text{d}X] \Rightarrow [\phi_{X_n}(t) \rightarrow \phi_X(t), \forall t]$$
最初の２つの矢印の両辺では,すべてが同じprobability space上のrandom variableと仮定している.

proof.

(a) $[X_n \rightarrow^{\text{a.s.}} X] \Rightarrow [X_n \rightarrow^\text{i.p.} X]$
$\epsilon > 0$を固定して,$Y_n = \epsilon I_{\{|X_n-X|\geq \epsilon\}}$とする.$X_n \rightarrow^{\text{i.p.}} X$ならば$Y_n \rightarrow^\text{a.s.} 0$であって,$Y_n$が定数$\epsilon$で抑えられることを考えればDCTより
$\lim_n E[Y_n] =\lim_n\int_{\Omega} \epsilon I_{\{|X_n-X|\geq \epsilon\}} = \int_\Omega \lim_n \epsilon I_{|X_n-X|\geq \epsilon\}} 0$ (測度1で$\lim Y_n(\omega) =0$)
一方で$E[Y_n] = \epsilon P(|X_n-X| \geq \epsilon)$から,$P(|X_n-X|\geq \epsilon) \rightarrow 0$が任意の$\epsilon$に言えて,したがって$X_n \rightarrow^{\text{i.p.}} X$

(b) $[X_n \rightarrow^{\text{i.p.}} X] \Rightarrow [X_n \rightarrow^\text{d} X]$ (略)
(c) $[X_n \rightarrow^d X] \Rightarrow [\phi_{X_n}(t) \rightarrow \phi_X(t), \forall t]$
$X_n \rightarrow^d X$のもとで,Theorem 17-1から,あるprobability space上の$Y, \{Y_n\}$が有って,$Y_n \rightarrow^{\text{a.s.}} Y$である. 任意の$t \in \mathbb{R}$に
$$\lim \phi_{X_n} (t) = \lim \phi_{Y_n} (t) = \lim E[e^{itY_n}] =_{(1)} E[\lim e^{it Y_n}]=E[e^{itY}] = \phi_Y(t) = \phi_X(t)$$
(1): DCTと$Y_n \rightarrow^\text{a.s.}Y$ (Lec. 16, 4(f))

それぞれの矢印の逆命題を議論する.

3.1 Convergence Almost Surely Versus in Probability

$[X_n \rightarrow^\text{d} X] \nRightarrow [X_n \rightarrow^\text{i.p.}X]$
$X_n(\Omega)=\{0, 1\}, P(X_n = 1) = 1/n$,また$\{X_n\}$はindependentとする.このとき$X_n\rightarrow^\text{i.p.} 0$である.一方Borel-cantelliの補題から,$P(\{X_n = 1, \text{i.o.}\})=1$ ($\ \ \sum 1/n = \infty$) ゆえにほとんどすべての$\omega$で$X_n(\omega)$は$0$に収束しない.
しかし,より弱い命題は成立する.すなわち,$X_n \rightarrow^\text{i.p.} X$のときには,部分列$\{X_{n_k}\}$があって,$\lim_k X_{n_k} =X \ \ \text{a.s.}$である. (証明略)
例えば上の例で$n_k = k^2$とすると$X_{n_k} \rightarrow^\text{i.p.} 0$であって,Borel-Cantelliの補題から$P(\{X_n=1, \text{i.o.}\})=0$ $(\sum 1/n^2 < \infty)$だから,たしかに$X_n \rightarrow^\text{a.s.} X$.

3.2 Convergence in Probability Versus in Distribution

$[X_n \rightarrow^\text{d} X] \nRightarrow [X_n \rightarrow^\text{i.p.} X]$
$X, X_n$定数でないi.i.d.とする.このとき明らかに$X_n \rightarrow^\text{d} X$であって,一方$\epsilon$を固定して$P(|X_n-X|\geq \epsilon)$は$n$に関係なく確定した非負実数値を取りうる.すなわち$X_n$は$X$にconverge in probability しない.
ただし$[X_n \rightarrow^\text{d} c] \Rightarrow [X_n \rightarrow^\text{i.p.} c]$である.(証明略)

3.3 Convergence in Distributuion Versus Characteristic Functions

最後に,Theorem 17-2の最後の矢印の逆は必ず成立する.つまり同値関係である.以下の定理は,characteristic functionが似ているrandom variableはdistributionも似ていると主張する.

Theorem 17-3 Countinuity of inverse transfroms (証明略)

$X, X_n$はrandom varirableとする.
$$[\phi_{X_n} (t) \rightarrow \phi_X(t), \forall t] \Rightarrow [X_n \rightarrow^d X]$$

さらに,
(i) characteristic functionたち$\phi_{X_n}$が$\phi_X$に各点収束し
(ii) さらにその極限があるrandom variableのcharacteristic functionである
という命題は非常に便利である.(i)のもとで(ii)が成り立つ条件をTheorem 17-4は主張する.

Theorem 17-4 Continuity of inverse transforms (証明略)

$X_n$はrandom variableで,$\phi_{X_n}$をそのcharacteristic functionとする.$\phi(t) = \lim \phi_{X_n}(t) \forall t$つまり各点収束極限を$\phi_X$とすると,以下のどちらかが成り立つ.
(i) $\phi$は$0$で非連続であり,$X_n$はconverge in distribution しない
(ii) $\phi$は$0$で連続であり,random variable $X$があって,そのcharacteristic functionは$\phi$, さらに$X_n \rightarrow^d X$である.