Gamarnik, Tsisiklis. Fundamentals of Probability 03日目 条件付き確率と独立性

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 3. Conditioning and Independence

この節で$(\Omega, \mathcal{F}, P)$はprobability spaceとする．また，$A,B$やそれにindexをつけた集合は特に断らない限りeventで，すなわち$A,B, A_i, B_i \in \mathcal{F}$とする．

1. Conditional Probability

Definition 3-1.

$B \in \mathcal{F}$ は$P(B) > 0$であるとする．$A \in \mathcal{F}$について，$B$を前提として$A$が起こるというconditional probability(条件付き確率)を$P(A|B)$と書き,
$$P(A |B)= \frac{P(A \cap B)}{P(B)}$$
である．

Theorem 3-1.

(a)$P(B) > 0$であるとき，$P(\Omega|B) = 1$であり，任意の互いに素な$\{A_i\}_{i \in \mathbb{N}} \subset \mathcal{F}$に
$$P(\cup_i A_i | B) = \sum_i P(A_i | B)$$
である．
(b) $P(B)>0$で，$\mathcal{F}$上の関数$P_B: A \rightarrow P(A|B)$とすると，$P_B$は$\Omega, \mathcal{F})$上のprobability spaceである．
(c) $A \in \mathcal{F}$とする．$\{B_i\}_{i \in \mathbb{N}} \subset \mathcal{F}$を$\Omega$の分割，つまり互いに素で総和が$\Omega$であるとすると，
$$P(A) = \sum_i P(A|B_i) P(B_i)$$
が成立する．
(d) (Bayes’ rule)
$P(A)>0$とする．$\{B_i\}$が$\Omega$の分割で，常に$P(B_i)>0$なら，
$$P(B_i|A) = \frac{P(B_i)P(A|B_i)}{P(A)} = \frac{P(B_i)P(A|B_i)}{\sum_j P(B_j)P(A|B_j)}$$
が成立する.とくに$P(B), P(B^c)>0$であると，
$$P(A) = P(A|B)P(B) + P(A|B^c)P(B^c)$$
(e)
任意の$\{A_i\}$について，
$$P(\cap_i A_i) = P(A_1) \Pi_{i \geq 2} P(A_i | A_1 \cap \cdots \cap A_{i-1})$$
が，conditional probabilityがwell-definedである限り成立する．($P(A_1 \cap \cdots)>0$である限りということか)

proof.

(a) $$P(\cup_i A_i |B) = \frac{P((\cup_i A_i) \cap B)}{P(B)} = \frac{P(\cup_i(A_i \cap B))}{P(B)}$$
$\{(A_i \cap B)\}$は互いに素だから，countable additivityから$P(\cup_i (A_i \cap B))=\sum_i(P(A_i \cap B))$.上式の最右辺に代入すると，
$$P(\cup_i A_i | B) = \frac{\sum_i P(A_i \cap B)}{P(B)} = \sum_i \frac{P(A_i \cap B)}{P(B)} = \sum_i P(A_i | B)$$
(b): $P_B(\phi) = \frac{P(\phi \cap B)}{P(B)} = 0$.またcountable additivityは(a)から直ちに従う．
以下略

2. Independence

$A, B$の一方の起きることが，もう一方が起きるか否かに関係ないとき，$A, B$はindependent(独立)という．これを定式化する．

Definition 3-2

(a) A, B がindependent
$\Leftrightarrow P(A\cap B) = P(A) P(B)$.
とくに$P(B)>0$なら，$P(A) =P(A|B)$である．
(b) $S$:(有限でも可算でも非可算でもよい)を添え字集合とする集合族$\{A_s\}$について，この集合族に属するeventたちは独立である
$\Leftrightarrow$ 任意の$S_0 \subset S, |S_0|<\infty$に，
$$P(\cap_{S_0} A_s ) = \Pi_{s \in S_0} P(A_s)$$
(c) $\mathcal{F}_1, \mathcal{F}_2 \subset \mathcal{F}$が$\sigma$-fieldであるとき，$A_1 \in \mathcal{F_1}, A_2 \in \mathcal{F}_2$の任意の組み合わせで$A_1, A_2$がindependentであるとき，$\mathcal{F}_1, \mathcal{F}_2$はindependentであるという．
(d) $\mathcal{F}$の$\sigma$-fieldである部分集合たちの属の独立性も(b),(c)を組み合わせて定義できる．

Theorem 3-2

$\mathcal{G}_1, \mathcal{G}_2$はともに積集合について閉じたmeasurable setの族とする．
$P(A \cap B) = P(A)P(B)$が任意の$A \in \mathcal{G}_1, B \in \mathcal{G}_2$に成立するとき，$\sigma(\mathcal{G_1}), \sigma(\mathcal{G_2})$はindependentである．
proof. 略

3. The Borel-Cantelli Lemma

Definition 3-3

$\{A_n\}_\mathbb{N}$について，「$A_n$が無限回生じる」というeventは，無限に多くの$A_i$に属するような$\omega \in \Omega$たちの集合であって，
$$\{A_n \ \text{i.o.} \} = \limsup A_n = \cap_{n \geq 1} \cup_{i \geq n} A_i$$
と書く．(i.o. : infinitely often)

Borel-Cantelliの補題の証明のためにlemmaを導入する．

Lemma 3-1

$0 \leq p_i \leq 1$が任意の$i$に成り立ち，$\sum p_i = \infty$ならば$\Pi (1-p_i) = 0$

Theorem 3-3 (Borel-Cantelli lemma)

$A = \{A_n \ i.o.\}$とする．
(a) $\sum P(A_n) < \infty \Rightarrow P(A) = 0$
(b) $\sum P(A_n) = \infty \text{ and} \{A_n\} \text{ are independent} \Rightarrow P(A)=1$

proof.

(a) $\sum P(A_i) <\infty$から$\lim_n \sum_{i \geq n} P(A_i) = 0$
任意の$n$に$A \subset \cup_{i\geq n} A_i$だから，
$P(A) \leq P(\cup_{i \geq n} A_i) \leq \sum_{i \geq n} P(A_n) \rightarrow 0$
よって$P(A)=0$
(b) $B_n=\cup_{i \geq n} A_i$とする．$A = \cap_n B_n$である.$P(B^c_n) = 0$を示す．
$n$を固定し,$m \geq n$とする．独立性から
$$P(\cap_{i=1}^m A^c_i) = \Pi_{i=n}^m P(A^c_i) = \Pi_{n \leq i \leq m} (1-P(A_i))$$
仮定$\sum P(A_i) = \infty$より$\sum_{i \geq n} P(A_i) = \infty$.Lemma 3-1を
$\{P(A_i) | i \geq n\}$に適用し，$\Pi_{i \geq n} (1- P(A_i)) = 0$.したがって
$$P(B^c_n)=P(\cap_{i \geq n} A^c_i)=\lim_m P(\cap_{i=n}^m A_i^c) = \lim_m \Pi_{i =n}^m (1-P(A_i)) =0$$
が成立する．