MIT OCW, Fundamentals of Probability 17日目 確率変数の様々な収束

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 17. Convergence of Random Variables

• Lecture 17. Convergence of Random Variables
  • 1. Definitions
    • 1.1 Almost Sure Convergence (概収束)
      • Definition 17-1
    • 1.2 Convergence in Distribution (分布収束)
      • Definition 17-2
    • 1.3 Convergence in Probability (確率収束)
      • Definition 17-3
  • 2. Convergence in Distribution
    • • Theorem 17-1 (証明略)

1. Definitions

1.1 Almost Sure Convergence (概収束)

Definition 17-1

$X_n$ が$X$にalmost surely converge (概収束)する
$\Leftrightarrow P(A)=1 \text{なる } A \subset \Omega$があって,
$$\lim_n X_n(\omega) = X(\omega) \ \ \forall \omega \in A \text{ つまり各点収束}$$
またこのとき$X_n \rightarrow^{\text{a.s.}}X$と書く.

このとき$X_n, X$は必ず同じprobability spaceのrandom variableでなければならない. さらに,$X_n$たちは一般にhighly dependentである.a.s. convergenceが現れる状況は以下の２つである.
(a)

確率的試行を何度も繰り返すとする.$n$回目の試行に,$Z_n \geq 0$というrandom variableを関連付ける(例えば$n$日目の収入). このとき$X_n = \sum_{i=1}^n Z_n$とすると$n$日目までの収入の合計であって,$X = \sum_{k=1}^\infty X_k$は生涯の収入と考えることが出来る. $X$は$\overline{\mathbb{R}}$でうまく定義されている.

(b)

あるrandom variable$Y$と,可測関数$g_n, g$によって作られる様々なrandom variable$X_n = g_n(Y), X=g(Y)$があって,$\lim_n g_n(y) = g(y)$が任意の$y \in \mathbb{R}$に成立するとき$X_n \rightarrow^{\text{a.s.}} X$である.例えば$g_n(y)=y+y^2/n \rightarrow g(y) =y$.よって
$$Y+Y^2/n \rightarrow^{\text{a.s.}} Y$$

$X_n \rightarrow^{\text{a.s.}} X$であるとき,dominated convergence theorem(優収束定理)から,
$$\phi_{X_n}(t) \rightarrow \phi_X(t)$$
である.一方
$$E[X_n] \rightarrow E[X]$$
は一般には成り立たない.例えば$U$を$[0,1]$上の一様分布として,
$$X_n = \begin{cases} n \ \ \ &\text{if } U \leq 1/n \\ 0 &\text{if } U > 1/n\end{cases}$$
とすると
$$\lim E[X_n] = \lim nP(U \leq 1/n) = 1$$
一方,$X_n \rightarrow^{\text{a.s}} 0$で,$E[X]=0$

1.2 Convergence in Distribution (分布収束)

Definition 17-2

$X, X_n$をrandom variableとし,CDFをそれぞれ$F, F_n$とする.$X_n$が$X$にconverge in distributionする
$\Leftrightarrow$
$$\forall x \in \mathbb{R}, \text{ where }F \text{ is continuous,} \ \ \ \lim_{n\rightarrow \infty} F_n(x) = F(x)$$
またこのとき$X_n \rightarrow^d X$と書く.

重要な性質として,
(a)

$P(X=x) = 0 \Leftrightarrow F$は$x$で連続

(b)

$X_n = 1/n$,また$X=0 \ \ \text{a.s.}$とすると$F_{X_n}(0) = P(X_n \leq 0) = 0$だが,$F_X(0) = 1$である.また,$0$で$F$は非連続だから,連続点のみを考えれば$X_n \rightarrow^d X$.より一般に,$X_n = a_n$また確率1で$X=a$で,$a_n \rightarrow 1$ならば,$X_n \rightarrow^d X$である.
よってconvergence in distributionは実数の収束とconsistent.

(c)

この定義は,random variableたちのmarginal distributionだけを考えていて,異なったprobability spaceにおけるrandom variableについても,cenvergence in distributionは定義されている.

(d)

$Y$がcontinuous random variableで,PDFが$0$において対称とする.$X_n = (-1)^n Y$とすると,$X_n$は全て同じdistributionを持っていて,$X_n \rightarrow^d Y$.しかしほとんどすべての$\omega$で,$X_n(\omega)$は$X(\omega)$に収束しない.

(e)

random variableのdistributionがparametric(例えば,$X_n=e^{\lambda_n}$であるとき)かつそのparameterが収束して,その収束先によって$X$を定義するとき$(\lambda \rightarrow \lambda, X=e^{\lambda})$,$X_n \rightarrow^d X$である.

(f)

discrete random variableの列がcontinuous random variableにconverge in distributionすることがある.例えば$Y_n$が$\{1, ..., n\}$でuniformで,$X_n = Y_n/n$とすると,$X_n$は$[0, 1]$上のuniform random variableにconverge in distributionする.

(g)

continuous random variableの列がdiscrete random variableにconverge in distributionすることがある.例えば$X_n$が$[0, 1/n]$でuniformなら$X_n \rightarrow^d 0$.

(h)

$X$と$X_n$が連続でも,$X_n \rightarrow^d X$だからといってPDFたちが連続であるとは限らない.

(i)

$X, X_n$が整数値を取って,$X_n \rightarrow^d X$ならば,PMFもまた$p_{X_n}(k)\rightarrow p_X(k)$と各点収束する.

1.3 Convergence in Probability (確率収束)

Definition 17-3

(a) 必ずしも同じprobability spaceのrandom variable列でない$\{X_n\}$が$c \in \mathbb{R}$にconverge in probabilityする
$\Leftrightarrow$
$$\forall \epsilon > 0 \ \ \ \lim_{n\rightarrow \infty} P(|X_n-c|\geq \epsilon) = 0$$
このとき$X_n \rightarrow^{\text{i.p.}} c$と書く.
(b) $X, \{X_n\}$は同じprobability spaceのrandom variableたちとする. $X_n - X \rightarrow^{\text{i.p.}} 0$であるとき,$X_n$は$X$にconverge in probabilityするといい,$X_n \rightarrow^{\text{i.p.}} X$と書く.

また重要な性質に
(b)

$X_n \rightarrow^{\text{i.p.}} c$というのは,直感的には,$n$が増加するに従ってほとんどすべてのprobability massが$c$の周りの小さな区間に集まってくるということである. 一方$n$を固定するとその小さな区間からはみ出るprobability massがあってそれはslowly decaying tailをもつ(?). このようなtailはexpected valueに大きな影響が有る. よってconvergence in probability は極限のexpected valueを知るのには役立たない.

(c)

$X_n \rightarrow^{\text{i.p.}} X, Y_n \rightarrow^{\text{i.p.}} Y$で,全てが同じprobability space上のrandom variableなら$(X_n + Y_n) \rightarrow^{\text{i.p.}} (X+Y)$である.

2. Convergence in Distribution

convergence in distributionとalmost sure convergenceの関係を詳しく見ることで,convergence in distributionの意味を把握する.

Theorem 17-1 (証明略)

$X_n \rightarrow^d X$なら,あるprobability spaceと,以下を満たすその上のrandom variable$Y, Y_n$が存在する.
(a) 任意の$n$に$X_n$と$Y_n$が同じCDFをもち,$X$と$Y$も同じCDFを持つ.
(b) $Y_n \rightarrow^{\text{a.s.}} Y$

convergence in distributionでは,random variable $X_n$たちが独立であるか否かは問題ではなく,同じprobability space上で定義されている必要もない. 一方almost sure convergenceでは,random variableたちの強いdependenceが暗示されている. Theorem 17-1はmarginal distributionの保存を言っているが,$X_n$たちの間の特別な形のdependenceを導入していて,結果almost sure convergenceが現れる.
このdependenceは$Y_n, Y$をcommon random number generatorを使って希望する分布上に定義する.例えば$U$を$[0, 1]$上のuniformly distrubutionとする.
すべてのCDFたちが連続で狭義単調増加するとき$Y_n = F^{-1}_{X_n}(U), F^{-1}_X(U)$とすると,(a)を満たしている.またこのとき$Y_n \rightarrow^{\text{a.s.}} Y$である.これはsection 1.1(b)からわかる.