Gamarnik, Tsisiklis. Fundamentals of Probability 01日目 測度空間と確率測度

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Probablistic Models and Probability Measures

1. Probabilistic Experiments

結果が不確定な現象や実験を解析するには確率モデルを使う.確率モデルは形式的には$(\Omega, \mathcal{F}, P)$と書かれprobability space(確率空間)と呼ばれる.probability spaceは以下の性質を持つ.
(a) $\Omega$は実験によって生じうる結果の集合で,sample space(標本空間)という.
(b) $\mathcal{F}$は$\sigma$-加法性(後述)をもつ$2^{\Omega}$の部分集合で,$\sigma$-fieldという.
(c) $P$は$\mathcal{F} \rightarrow [0, 1]$なる写像で,probability measure(確率測度)という.

これらの性質の詳細を議論する.

2. Sample Space

sample spaceは生じうる結果すべての集合$\Omega$で,$\Omega$のある要素を$\omega$と表して,elementary outcomeとか,単にoutcomeという(素事象という言い方が有るがあまり使われないようだ.ふつう日本語では標本とか標本点と呼ぶ).$\Omega$はMutually Exclusive and Collectively Exhaustive(MECE:つまり,重複無く,漏れなく)なければならない.
例
(a)サイコロを1回ふる実験を考えるとき,sample spaceは$\Omega = \{1, 2, ..., 6\}$で,$\omega = 2$はサイコロをふって2が出るという事象を表している.
(c)サイコロを無限回ふる実験を考えるとき,$\Omega = \{1, ..., 6\}^{\infty}$であって,$\omega = ( 3, 1, 1, 5, ...)$というような無限列である.
(d) 実験が乗り物の無限精度の速度とすると,$\Omega = \mathbb{R}$である.

3. Discrete Probability Spaces

抽象的な議論の前に,さいころの試行のような,最も単純なタイプのprobability spaceを考える.
$|\Omega| \leq |\mathbb{N}|$なprobability spaceをdiscrete probability spaceという.

Definition 1.

$(\Omega, \mathcal{F}, P)$がdiscrete probability spaceである$\Leftrightarrow$以下の(a),(b),(c)が成立する.
(a) $\Omega = \{\omega_1, ...\}$
(b) $\mathcal{F} = 2^{\Omega}$
(c) $\forall \omega \in \Omega$に$P(\{\omega\})$が定義されていて, $$P(A)=\sum_{\omega \in A} P(\{\omega\})$$ が任意の$A \in \mathcal{F}=2^{\Omega}$に成立し, $$\sum_{\omega \in \Omega} P(\{\omega\}) = 1$$
である.

$P(\{\omega\})$を単に$P(\omega)$と書き,$P(\omega_i)$を$p_i$とも書く.

Examples

(a) コイントスを考えるとき表が出る事象を$H$,裏が出る事象を$T$とする.
$\Omega = \{\omega_1=T, \omega_2 = H\}$として,
$p_1=p_2=1/2$,$\mathcal{F}=\{\phi, \{H\}, \{T\}, \{H, T\}\}$,
$P(\phi)=0, P(H)=P(T)=1/2, P(\{H, T\}) = 1$である.

(c)
$\Omega = \{1, 2, 5, a, v, aaa, *\}, \mathcal{F}=2^{\Omega}$,
$P(1)=P(2)=0.1, P(5)=0.3, P(a)=0P(v)=0.15, P(aaa)=0.2, P(*)=0$
としても,物理的な意味はないがdiscrete probability spaceである.

(e)
$\Omega=\mathbb{N}$として$\lambda > 0$を固定し,$p_k = e^{-\lambda}\lambda^k /k!$とすると,$(\Omega, 2^{\Omega}, P)$はdiscrete probability spaceである.

(g)
さいころを$n$回ふる実験を考える.$\Omega =\{1, ..., 6\}^n$であって,どの目が出る確率も同様に確からしいと仮定すると,$P(\omega)=1/6^n$が任意の$\omega \in \Omega$に成立する.

4. $\sigma$-FIELDS

$|\Omega| > |\mathbb{N}|$のときはdiscrete probability spaceと異なり,$\mathcal{F}$は$2^{\Omega}$とは限らないが,必ず$\sigma-$加法性という性質を満たさなければならない.
つまり,確率は$\Omega$の部分集合のうち,特に”よい”性質を持つものにのみ定義される.

Definition 2.

$\Omega$: a setに対して,$\mathcal{F}$が$\Omega$の$\sigma$-field($\sigma$加法族,$\sigma$代数, $\sigma$体)である$\Leftrightarrow$以下の(a),(b),(c)を満たす.
(a) $\phi \in \mathcal{F}$
(b) $A \in \mathcal{F}$なら$A^c \in \mathcal{F}$
(c) $\{A_i\} \subset \mathcal{F}$なら$\cup_i A_i \in \mathcal{F}$
$A \in \mathcal{F}$をeventといい,これを$\mathcal{F}$-measurable setか,単にmeasureable setという.$(\Omega, \mathcal{F})$を**measurable space(可測空間)という.

試行のうち,$\omega \in A$が生じたとき,event $A$が起きたという.

Exercise 1.

(1) $A, B \in \mathcal{F}$なら$A \cap B \in \mathcal{F}$を示せ.
(2) $\mathcal{F} \neq \phi$であるなら,definition 1の(a)を(b),(c)によって導け.
答案.

(1) $A \cap B = (A^c \cup B^c)^c \in \mathcal{F}$
(2) $A \in \mathcal{F}$に,(b)から$A^c \in \mathcal{F}$, (c)から$A \cup A^c= \Omega \in \mathcal{F}$であって,また(b)によって$\phi = \Omega^c \in \mathcal{F}$である.

Examles

(a) 自明な$\sigma$-field, $\mathcal{F} = \{\Omega, \phi\}$
(b) $\mathcal{F} = \{ \phi, A, A^c, \Omega\}$は$A$を$\Omega$の固定された部分集合として,$\sigma$-field.
(c) $\mathcal{F} = 2^{\Omega}$は$\sigma$-field
(d) サイコロを$n$回ふる実験を考える.$\Omega = \{1, ..., 6\}^n$とする.
$A = \{ \omega = (\omega_1, ..., \omega_n)| \omega_1 \leq 2\}$
$B = \{ \omega = (\omega_1, ..., \omega_n)| 3 \leq \omega_1 \leq 4\}$
$C = \{ \omega = (\omega_1, ..., \omega_n)| 5 \leq \omega_1 \}$
とするとき,
$\mathcal{F} = \{ \phi, A, B, C, A\cup B, A \cup B, B \cup C, \Omega\}$は$\sigma$-algebra.

Proposition

$S$を添字集合として,$\{\mathcal{F}_s\}_{s \in S}$はすべて同じsample space$\Omega$の$\sigma$-fieldとする.$\mathcal{F} = \cap_{s \in S} \mathcal{F}_s$は任意の$\mathcal{F}_s$の部分集合である最大の$\sigma$-fieldである.
proof.

$\forall s\ \ \phi, \Omega \in \mathcal{F}_s$だから,$\phi, \Omega \in \mathcal{F}$
$A \in \mathcal{F}$なら$\forall s A \in \mathcal{F}_s$ゆえ,$\forall s A^c \in \mathcal{F}_s$.同様に$\{A_i\} \subset \mathcal{F} \Rightarrow \cup \{A_i\} \in \mathcal{F}$がいえる.

さて,$\mathcal{C}$を$\Omega$の部分集合たちの属であるとする.$\mathcal{C}$を含む含むような最少の$\sigma$-fieldを考える.$\mathcal{C} \subset 2^{\Omega}$だから,最大のものは存在する.$\mathcal{C}$を含むすべての$\sigma$-filedの積集合$\mathcal{F}$を考えれば良い.
つまり,$\mathcal{H}$を$\mathcal{F}$を含む任意の$\sigma$-filedとすると$\mathcal{F} \subset \mathcal{H}$であり,これが最少の意味である.このように構成された$\mathcal{F}$を$\mathcal{C}$がらgenerate(生成された)$\sigma$-field といい,$\sigma(\mathcal{C})$と書く.

5. Probability Measures

eventに対してその確率を与える方法を議論する.$|\Omega| > |\mathbb{N}|$のときが問題で,$\mathcal{F}$が$\sigma$-加法性をみたさなければならない.また,割り当てられる確率もまた特別な条件を満たす必要が有る.probability measureの前に,より一般的にmeasureの性質を議論する.

Definition 3.

$(\Omega, \mathcal{F})$はmeasurable spaceとする.関数,$\mu: \mathcal{F} \rightarrow [0, \infty]$がmeasureである$\Leftarrow$以下の(a),(b)を満たす.
(a) $\mu(\phi)=0$
(b) (Countable additivity, 可算加法性)$\{A_i\} \subset \mathcal{F}$が互いに素であるとき,$\mu(\cup_i A_i) = \sum_{i=1}^\infty \mu(A_i)$が成立する.

さらに,$P$がmeasureであるとき,$P$がprobabilty measureである$\Leftrightarrow P(\Omega)=1$(Axiom of Probability)

$A \in \mathcal{F}$に,$P(A)=1$であるとき,event $A$はalmost surely(ほとんど常に)起こるという.$A=\Omega$は自明な例である.しかし,$P(A)=1$は$A=\Omega$と同値ではない.
$A_1, A_2, ...$というeventsがあって,同時にたかだか1つしか起こらないとする.このとき”どれか一つが起こる”という確率は,それぞれの起こる確率の和であるというのが,countable additivityの意味である.measureはもともと体積の一般化として導入された.一般なmeasureでは,体積無限大の立体を考えれば,measureが$\infty$であるとこは不自然ではないが,probability measureでは特に$P(\Omega)=1$を要求する.

Proposition 2.

Probability measureは以下の性質を持つ.
(a) (Finite additivity) $A_1, ..., A_n$が互いにであるとき,$P(\cup_i^n A_i)=\sum_{i=1}^n P(A_i)$
(b) $P(A^c)=1-P(A)$
(c) $A \subset B \Rightarrow P(A) \leq P(B)$
(d) (Unioin bound) $\{A_i\} \subset \mathcal{F}$なら,
$$P(\cup_{i \geq 1} A_i) \leq \sum_{i \geq 1} P(A_i)$$
(e) (Enclusion-exclusion formula) $A_1, ..., A_n \in \mathcal{F}$に,
$$\begin{aligned} P(\cup_1^n A_i) = \sum_1^n P(A_i) - \sum_{i < j} P(A_i\cap A_j) \\ + \sum_{i<j<k} P(A_i\cap A_j \cap A_k) + \cdots +(-1)^n P(A_1 \cap \cdots \cap A_n)\end{aligned}$$

proof.

(a) countable additivityの集合列で,$n+1$以上を$\phi$にすれば示せる.
(b) $A \cap A^c = \phi$から,$P(A)+P(A^c)=1$
(c) $A, B \in \mathcal{F}$なら$B \backslash A \in \mathcal{F}$であって,$B\backslash A \cap A=\phi$から,$P(B) =P(A)+P(B \backslash A)\geq P(A)$である.
(d) $\{A_i\}_i$が互いに素である時は統合が成立する.$A_j \cap A_k \neq \phi$であるような$A_j, A_k$があってほかはすべて互いに素であるとき,$\cup A_i = \cup_{i\neq j, k} A_i \cup (A_j\backslash A_k) \cup (A_k \backslash A_j) \cup (A_j \cap A_k)$ (別に$A_j \cap A_k = \phi$でも成立するが) 両辺の測度をとって,
$P(\cup A_i) = \sum_{i \neq k,j} P(A_i) + P(A_j\backslash A_k) +P(A_k \backslash A_j) + P(A_j \cap A_k) \leq \sum_i P(A_i)$が成立する.互いに素でない集合がいくつあっても同じことである.
(e) 後日

Finite Additivity

Definition 4.

$\Omega$をsample spaceとする.

(a) $\mathcal{F}_0 \subset 2^{\Omega}$とする.$\mathcal{F}$がfieldである$\Leftrightarrow$
1. $\phi \in \mathcal{F}$
2. $A \in \mathcal{F} \Rightarrow A^c \in \mathcal{F}$
3. $A,B \in \mathcal{F} \Rightarrow A \cup B \in \mathcal{F}$

(b) $\mathcal{F}_0$は$\Omega$のfieldとする.$P:\mathcal{F}_0 \rightarrow [0,1]$がfinite additive $\Leftrightarrow [ A, B \in \mathcal{F}_0, A \cap B = \phi \Rightarrow P(A \cup B) = P(A) + P(B)]$

Countinuity of Probabilities

$\Omega = \mathbb{R}$とする.$A_n = [1, n]$は$A=[1, \infty)$に収束する.よって確率を考えても,$P([1, n]) \rightarrow P([1, \infty))$が望まれる.Continuity of probability measuresによってこの性質が導かれる.

Theorem 1. (Continuity of probability measures)

$\mathcal{F}$を$\Omega$の$\sigma$-fieldとする.$P: \mathcal{F} \rightarrow [0,1]$が$P(\Omega)=1$であって,finite additivity propertyが成立するなら,以下は同値である.
(a) $P$はprobability measureである.
(b) $\{A_i\}$が単調増加してその極限が$A=\cup A_i$であるとき,$\lim P(A_i) = P(A)$
(c) $\{A_i\}$が単調減少して$A = \cap A_i$に収束するとき, $\lim P(A_i) = P(A)$
(d) $\{A_i\}$が探鳥減少して$\cap A_i =\phi$であるとき$\lim P(A_i) = 0$

proof.

(a) => (b)
$A = A_1 \cup (A_2 \backslash A_1) \cup (A_3 \backslash A_2) \cup ...$と,互いに素な集合列の和にできる.このとき
$$\begin{aligned} P(A) &= P(A_1) + \sum_{i \geq 2} P(A_i \backslash A_{i-1}) \\ &=p(A_1)+ \lim_n \sum_{i \geq 2} P(A_i \backslash A_{i-1}) \\ &=P(A_1) + \lim_n \sum_{i \geq 2} (P(A_i)-P(A_{i-1})) \\ &=P(A_1) + \lim_n (P(A_n) - P(A_1)) \\ &= \lim_n P(A_n)\end{aligned}$$
以下略