Gamarnik, Tsisiklis. Fundamentals of Probability 02日目 確率空間の構成

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 2. Two Fundamental Probabilistic Models

以下の2つは最も単純なprobabilistic modelである．
(a) $[0, 1]$上のuniform distribution(一様分布)$P([a, b]) = b-a$
(b) $n$回のコイントス，任意の結果$x$に$P(x) = 2^{-n}$

これらは一回生で習うような統計学でも当たり前のように出てくる．これらが前回学んだ理論に合致しているか確かめる．

1. Caratheodory’s extension theorem

$(\Omega, \mathcal{F})$というmeasurable spaceと$P$が持つべき性質が与えられたとき，そうした性質を持った$P$を構成する方法を考える．$\mathcal{F_0} \subset \mathcal{F}$であって，$P$の持つべき性質が容易に満たせるような$\mathcal{F_0}$があって，しかも$\sigma(\mathcal{F}_0)=\mathcal{F}$であるとよい．

Theorem 1. (Caratheodory’s extension theorem)

$\mathcal{F_0} \subset 2^\Omega, \mathcal{F} = \sigma(\mathcal{F_0})$とする．
$P_0$が$\mathcal{F}_0$から$[0,1]$への写像で，$P_0(\Omega)=1$かつ，$\mathcal{F}_0$でcountable additivityを満たしているとする．
このとき，$P_0$は$(\Omega, \mathcal{F})$に一意に拡張できる．すｋなわち，$P_{|\mathcal{F}_0}=P_0$で，$(\Omega, \mathcal{F}, P)$がprobability spaceである$P$がただ一つ存在する．

proof.略 (Williams)
この定理を適用するときに問題となるのは,$P_0$が$\mathcal{F_0}$でcountable additivity を満たすかということである．それにはLec.1 Theorem 1のcountable additivityの同値命題を使うと良い:$\{A_i\}$が減少列であるとき，$\cap A_i = \phi \Rightarrow \lim P_0 (A_i) = 0$

2. Lebesgue Measure on [0, 1] and on $\mathbb{R}$

$[0, 1]$上のuniform probability measureを構成する．これはLebesgue measureとも呼ばれる．Lebesgue measureは$[0, 1]$の部分集合にその長さをmeasureに与える．単純に長さの定義できない集合にもmeasureを与えることが問題となる．簡単のため，まずは$\Omega=(0, 1]$から考える．

2.1 A $\sigma$-field and a field of subsets of $(0 ,1]$

$\mathcal{C} = \{[a, b] | (a, b) \subset (0, 1] \}, \mathcal{F} = \sigma(\mathcal{C})$をBorel $\sigma$-fieldといい，$\mathcal{B}$であらわす．$\mathcal{B}$の元をBorel setsとか,Borel measurable setsという．
$\mathcal{C}$から始めて，加算和とか，加算積とか，補集合とか，有限あるいは可算の操作を繰り返してできる集合たち全体の集合はBorel setである．
都合の良い$\mathcal{F}_0 \subset 2^{(0, 1]}$とその上でのmeasure $P_0$を定めてから，それを拡張する．$A \in \mathcal{F}_0 \Leftrightarrow A = (a_1, b_1] \cup \cdots (a_n, b_n]$と定める．このとき，

Lemma 1

$$\sigma(\mathcal{F}_0) = \sigma(\mathcal{C}) = \mathcal{B}$$

proof. 略 (半開区間が，閉区間の可算積で書けることを思い出せばあきらかだろう)

Lemma 2

(a) $\mathcal{F}_0$はfieldである．(field: $\sigma$-fieldのcountable additivity aをfinite additivityにしたもの)
(b) $\mathcal{F}_0$は$\sigma$-fieldでない．

proof.

(a)
$(a, a] = \phi \in \mathcal{F}_0, (0, 1] \in \mathcal{F}_0$
$(a, b] \in \mathcal{F}_0$であるとき，$(a, b]^c = (0, a] \cup (b, 1] \in \mathcal{F}_0$
finite additivity は定義より成立．
(b)
(a) $(0, n/(n+1)) \in \mathcal{F}_0$だが，$n \in \mathbb{N}$について和集合をとると，$(0, 1)$となる．これは$\mathcal{F}_0$の元でないので，確かにcountable additivityを持っていない．

2.2 The uniform measure on (0, 1]

$A \in \mathcal{F}_0$が$A = (a_1, b_1] \cup \cdots \cup (a_n, b_n]$と互いに素な区間の和で書けるとする．
このとき$P_0(A) = \sum(b_i - a_i)$とすると，これは$A$の長さの総和であることが，区間の長さと有限和から言える．長さの直感的性質から，$P_0$は同時にcountable additiveであると考えられる(Williams).
上の考察にCarateodory’s Extension Theoremを適用して，$\mathcal{B} = \sigma(\mathcal{F_0})$上のprobability measure $P$, 別名をLebesgueやuniform measureというmeasureを得る．

Exercise 1

$A$を$[0, 1]$上の無理数の集合とする．$P(A)=1$を示せ．

proof.

$[0, 1]$上の有理数は可算個であり，$P(A) = P([0, 1] \backslash ([0, 1] \cap \mathbb{Q})) = 1 - P([0, 1] \cap \mathbb{Q}) = 1 -0 = 1$
(可算集合の測度$P$は$\sum_{i} 0 = 0$を使った)

以上は$(0, 1]$でのみ議論したが，有界な区間であればLebesgue measureが定義できることは直ちに示せる．一方で，$\mathbb{R}$にLebesgue measureを定めるとなると，また別の議論が必要となる．

2.3 The Lebesgue measure on $\mathbb{R}$

$\Omega = \mathbb{R}$とする．$\mathbb{R}$上の$\sigma$-fieldは，$\mathcal{C} = \{[a, b] : a<b\}, \mathcal{B} = \sigma(\mathcal{C})$と構成するのが自然であるが，同値な定義に:
$(n, n+1]$のBorel $\sigma$-fieldを全ての$n\in\mathbb{N}$に前節の容量で作り，$A \cap (n, n+1]$が常にBorel subsetであるとき，$A$を$\mathbb{R}$のBorel subsetであるという．このような$A$の集合を$\mathcal{B}$と定める．
がある.

さて，$P_n$を$(n, n+1]$でのuniform measureとする．$A \subset \mathbb{R}$に，
$$\mu(A) = \sum_{n \in \mathbb{N}} P_n(A \cap (n, n+1])$$
によって$\mu$を定めると，これは$(\mathbb{R}, \mathcal{B})$のmeasureになる．一方$\mu(\mathbb{R})=\infty$から，これはprobability measureではない．

Exercise 4.

$\mu$が$(\mathbb{R}, \mathcal{B})$上のmeasureであると示せ．
答案.

定義から，$\mu$は$\mathcal{B}$で定義され,$\mu(\phi)= \sum_n P_n(\phi) = 0$.
$A=\cup_i A_i, A_i = \cup_{i, j} A_{i, j}, A_{i, j} \subset (i, i+1]$とすると，$P_n$のcountable additivityより，$\mu$もcountable additivityを満たす．

Coiun Tooses: A “Uniform” Measure on ${0, 1}^{\infty}$

無限回のコイントスの試行というsample spaceに，最初の$n$回のコイントスにおける結果のパターンの確率がそれぞれ$2^{-n}$であるように$\sigma$-fieldとprobability measureを定義したい．以後，コインの表裏にそれぞれ$1, 0$を割り当てて，$\Omega = \{0, 1\}^{\infty}$とする．

3.1 A field and a $\sigma$-field of subsets of $\{0 ,1\}^{\infty}$

$\mathcal{F}_n$を最初の$n$回のコイントスの結果を見れば，起きたか否かわかるeventの集合とする．例えば，$\{\omega | \omega_1=1, \omega_2 \neq \omega_4\}$は$\mathcal{F}_4$の元であり，同時に$\mathcal{F}_k, k \geq 5$．の元でもある．
任意の$B \subset \{0, 1\}^{\infty}$に，
$$A=\{\omega \in \{0, 1\}^{\infty} | (\omega_1, ..., \omega_n) \in B\}$$
を考えると，$A = B \times \{0, 1\}^{\infty}$とできて，$A \in \mathcal{F}_n$．また$\mathcal{F}_n$の元はこの形で書ける．

Exercise 5

$\mathcal{F}_n$は$\sigma$-fieldであることを示せ

答案．

1. $A = \{\omega | (\omega_1, ..., \omega_n) \in \phi\} = \phi$　(これをどう解釈すればいいだろう)
2. $A = \{\omega | (\omega_1, ..., \omega_n) \in B\}$とする．
   $A^c = \{\omega| (\omega_1, ..., \omega_n) \notin B\} = \{\omega| (\omega_1, ..., \omega_n) \in B^c\}$
3. $A_i = \{\omega| (\omega_1, ..., \omega_{n(i)}) \in B_i \}$が$i \in \mathbb{N}$で成立するなら，
   $\cup_i A_i = \{\omega|(\omega_1, ..., \omega_{\min\{n(i)\}}) \in B$. ここで，$B$は各$B_i$から最も短いものの長さを$\min\{n(i)\}$としたとき全ての$B_i$の，$\min\{n(i)\}$までを考えたときの和集合である．

さて，$\mathcal{F}_n$は，最初の$n$回しか考えていないので，$\{0, 1\}^{\infty}$には小さすぎる．$\mathcal{F}_0 = \cup_n \mathcal{F}_n$とすれば，$A \in \mathcal{F}_0$は，一旦$n$を固定すれば$A$が起きるか否かが決定するということ．

Example

$A_n = \{ \omega| \omega_n = 1\} \in \mathcal{F}_n$である．$A = \cup_i A_i$とすると，無限回のコイントスで少なくとも一回は”1”がでるというeventとなる．$\forall n A \notin A_n$である．補集合を考えると，これは無限界のコイントスの結果が$0$の無限列であるというeventに対応する．$A^c$もまたいかなる$\mathcal{F}_n$の元でない．
$\mathcal{F}_0$はfieldである(らしい)

$\mathcal{F} = \sigma(\mathcal{F}_0)$として，さらにprobability measureを与える．

3.2 A probability measure on $(\{0, 1\}^{\infty}, \mathcal{F})$

$\mathcal{F}_0$に$P_0$を$P_0 (\{0, 1\}^{\infty})=1$を満たすように与える．
$A \in \mathcal{F}_0$が$B \times \{0, 1\}^{\infty}$という形であるとき，$P_0(A) = |B|/2^n$として，measureを定める．これがconsistent(well-definedということ？)であることを示す．
$A \in \mathcal{F}_n, \mathcal{F}_m, n > m$であるとしても，$P_0(A)$が一意であると示す．
$A = B \times \{0, 1\}^\infty = C \times \{0, 1\}^\infty, B \subset \{0, 1\}^n, C \subset \{0, 1\}^m$とする．このとき，$B = C \times \{0, 1\}^{n-m}, |B|=|C|\cdot 2^{n-m}$と書ける．$P_0(A) = |B|/2^n$に$|B|=|C|\cdot 2^{n-m}$を代入して，$P_0(A) = |C|\cdot 2^{-m}$.よって示せた．
$P_0$は$\mathcal{F}_0$上でcountable additivityを満たしえいることが示せる.(証明略)
Carateodory’s Extension Theoremから，$\mathcal{F}=\sigma(\mathcal{F}_0)$上のmeasure $P$が定義できる．

4. Completion of a Probability Space

field $\mathcal{F}_0$とcountably additiveな$P_0$があるとき，Carateodory’s extension theoremによって$\mathcal{F} = \sigma(\mathcal{F}_0)$上のmeasure, $P$を与えられる．$\sigma(\mathcal{F}_0)$というのは$\mathcal{F}_0$を含む最小の$\sigma$-fieldであった．$\sigma(\mathcal{F}_0)$よりも少しだけ大きい$\sigma$-fieldにさらにmeasureを拡張したい．
$(\Omega, \mathcal{F}, P)$というprobability spaceがあって，$B \in \mathcal{F}$について，$P(B)=0$とする．このような$B$をnull setという．$A \subset B$ならば,かならず$0$とmeasureを与えられるように$\mathcal{F}$と$P$を拡張する．
(a) $\mathcal{N}$を全てのnull setの部分集合の集合族とする．
(b) $\mathcal{F}^{*} = \sigma(\mathcal{F} \cup \mathcal{N})$とする．
(c) $P$を,$(\Omega, \mathcal{F}^{*})$のmeasureとなるように自然に拡張する．すなわち，$A \subset B(;\text{null}) \Rightarrow P^{*}(A)=0$
このような拡張は必ず可能で，しかも一意である(証明略)

こうして全てのnull setの部分集合にもmeasure 0 を割り当てられているとき，そのprobability spaceはcomplete(完備)であるという.
$\Omega = [0, 1]$あるいは$\Omega = \mathbb{R}$で,$\mathcal{F}$をBorel fieldとするとき，その完備化$(\Omega, \mathcal{F}^{*}, P^{*})$について，
$\mathcal{F}^*$をLebesgue measurable setsといい，$P^*$は同じくLebesgue measureという．

MITじゃこれを90分でやるってマジ！？