Gamarnik, Tsisiklis. Fundamentals of Probability 04日目 数え上げと確率変数

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 4. Counting

1. Banach’s Matchbox Problem

$n$本のマッチが入ったマッチ箱が２つある．マッチを使うとき，どちらかのマッチ箱をランダムに１つ選んでそこから取り出す．マッチを補充せずに使い続けるとき，マッチを取り出そうとしてその箱がからであると気づき,またその瞬間もう一方のマッチ箱に$k$本のマッチが入っているという確率を考える．

このeventが起こるときには２つのパターンがある．マッチ箱1とマッチ箱2と名前を付ける
(a) 最初の$2n-k$回マッチ箱を選ぶうち，$n$回マッチ箱1を選び，$n-k$回マッチ箱2を選ぶ．そして$2n-k+1$回目にマッチ箱2を選ぶ．
(b) 最初の$2n-k$回マッチ箱を選ぶうち，$n$回マッチ箱2を選び，$n-k$回マッチ箱1を選ぶ．そして$2n-k+1$回目にマッチ箱1を選ぶ．

(a)の確率は，
$$\left( \begin{array}{} 2n-k \\ n \end{array} \right) \cdot \frac{1}{2^{2n-k}} \cdot \frac{1}{2}$$
(b)の確率も同様で，合わせて
$$\left( \begin{array}{} 2n-k \\ n \end{array} \right) \cdot \frac{1}{2^{2n-k}}$$

2. Multinomial Probabilities

$n$回の独立な試行を考える．それぞれの試行で$\{a_1, ..., a_r\}$のどれかが１つだけ生じるとする．また，$a_i$の起きる確率を$p_i$とする．$n$回の試行で,$a_i$が$n_i$回起こる確率はどれだけか$(\sum n_i = n)$

$n$回の試行で$a_1$が$n_1$回,$a_2$が$n_2$回…
と連続して出る確率は$p_1^{n_1} \cdots p_r^{n_r}$.
さらに$n_i$個の$a_i$たちの列の全ての並び替えは$n! /( n_1 ! \cdots n_r !)$
したがって求める確率は
$$\frac{n!}{n_1! \cdots n_r!} p_1^{n_1} \cdots p_r^{n_r}$$

Lecture 5. Random Variables

1. Random Varibales and Measruable Functions

random variable(確率変数)はsample spaceから実数への関数であって，$X$などと書くことにする．ある試行の結果が$\omega \in \Omega$であったとき，$X(\omega) \in \mathbb{R}$を返す．ある$c$があって，$\{\omega | X(\omega) \leq c\}$のprobability (measure)が我々の興味の対象となる．measureが定義されているか($\Leftrightarrow$ eventであるか $\Leftrightarrow \mathcal{F}$の元か)が問題となってくる．

Example 5-1.

5回のコイントスを考える．$\Omega = \{0, 1\}^{5}$であって，”1”は表を，”0”は裏を表すとする．$\mathcal{F} = 2^{\Omega}$で，$(\Omega, \mathcal{F}, P)$はprobability spaceとする．
表の出る回数の確率を求める．$X: \Omega \rightarrow \mathbb{R}$を,
$$X(\omega_1, ..., \omega_n) = \omega_1 + \cdots + \omega_n$$
と定めると，$X$は表が出た回数を表すrandom variableであって，例えば
$\{\omega | X(\omega) < 4\}$は表が３回以下でるというeventである．

$\mathbb{R}$のBorel setsを$\mathcal{B}$と書く．random variableが$\pm \infty$をとることを許すとき，拡大実数$\overline{\mathbb{R}} = \mathbb{R} \cup \{\infty, -\infty\}$を考えて，それのBorel setsをまた$\mathcal{B}$と書くことにする．$\{-\infty\}, \{\infty\} \in \mathcal{B}$である．

1.1 Random Variables

Definition 5-1 (Random Variables)

(a) $X: \Omega \rightarrow \mathbb{R}$がrandom variableである
$\Leftrightarrow$ 任意の$c \in \mathbb{R}$ に $\{\omega | X(\omega) \leq c\}\in \mathcal{F}$である．
(b) $X: \Omega \rightarrow \overline{\mathbb{R}}$がextended-valued random variableである
$\Leftrightarrow$ 任意の$c\in \overline{\mathbb{R}}$ に $\{\omega | X(\omega) \leq c\} in \mathcal{F}$である．

Example 5-2 (Indicator functions)

$A \subset \Omega$に，$I_A : \Omega \rightarrow \{0, 1\}$
$$I_A (\omega) = \begin{cases} 1 \ \ \ &(\omega \in A) \\ 0 &(\omega \notin A)\end{cases}$$
を$A$のIndicator function(特徴関数)という．
$A \in \mathcal{F} \Leftrightarrow I_A \text{はrandom variable}$

Example 5-3 (A function of a random variable)

$X$をrandom variable とする．$Y: \Omega \rightarrow \mathbb{R}$を,
$Y(\omega) = (X(\omega))^3$と定める．$Y = X^3$と簡潔に書いたりする．
このとき$Y$もまたrandom variableである．

1.2 The law of a random variable

random variable $X$について，$\{\omega | X(\omega) \leq c\}$というeventを単に$\{X\leq c\}$とか，$X \leq c$と書く．より一般的に,$B \subset \mathbb{R}$に，$\{\omega | X(\omega) \in B\}$を$X^{-1}(B)$や$\{X \in B\}$と書く．
$(-\infty, c]$という区間と補集合の組み合わせて$B \in \mathcal{B}$は書けるから，$X$がrandom variableなら，任意の$B \in \mathcal{B}$に，$X^{-1}(B) \in \mathcal{F}$である．したがって，$P(X^{-1}(B)) = P(\{\omega | X(\omega) \in B\})$は定義されている．$P(X \in B)$とも書く．

Definition 5-2 (The probability law of a random variable)

$(\Omega, \mathcal{F}, P)$をprobability space, $X: \Omega \rightarrow \mathbb{R}$をrandom variableとする．

(a) $\forall B \in \mathcal{B}$に，$P_X(B) := P(X \in B)$と定める．
(b) $P_X : \mathcal{B} \rightarrow [0, 1]$を$X$のprobability lawという．

$P_X$はときに$X$のditribution(分布)とも呼ばれる．$P_X$は$(\mathbb{R}, \mathcal{B})$のprobability measureにもなっている．$(\Omega, \mathcal{F}, P)$は扱いづらいことが多いので，$(\mathbb{R}, \mathcal{B}, P_X)$で議論をすることがよくある．

先程の主張を証明する．

Proposition 5-1

$(\Omega, \mathcal{F}, P)$がprobability spaceで，$X$をrandom variableとすると,$P_X$は$(\mathbb{R}, \mathcal{B})$のprobability measureである．

proof. 略

1.3 Technical digression: measurable functions

random variableの一般化

Definition 5-3

$(\Omega_1, \mathcal{F}_1), (\Omega_2, \mathcal{F}_2)$をmeasurable spaceとする．
$f: \Omega_1 \rightarrow \Omega_2$が$(\mathcal{F}_1, \mathcal{F}_2)$-measurable $\Leftrightarrow$ $\forall B \in \mathcal{F}_2 \ \ f^{-1}(B) \in \mathcal{F}_1$

以上の定義と前節の内容を考えると，$(\Omega, \mathcal{F})$上のrandom variable $X$は，
$X: \Omega \rightarrow \mathbb{R}$として$(\mathcal{F}, \mathcal{B})$-measurable.

Theorem 1.

$(\Omega, \mathcal{F})$をmeasurable spaceとする．

(a) (Simple random variables)
$A \in \mathcal{F}$とすると，indicator function $I_A$は$(\mathcal{F}, \mathcal{B})$- measurable
(b) $A_1, ..., A_n \in \mathcal{F}$であって，$x_1, ..., x_n \in \mathbb{R}$があるとき，
$X=\sum_{i=1}^n x_i I_{A_i}$はrandom variableである．特にsimple random variableという．
(c) $(\Omega, \mathcal{F})=(\mathbb{R}, \mathcal{B})$で，$X: \mathbb{R} \rightarrow \mathbb{R}$が連続である時，$X$はrandom variableである．
(d) (Functions of a random variable)
$X$をrandom variable とする．$f: \mathbb{R} \rightarrow \mathbb{R}$が連続である時，$f(X)$はrandom variableである．
(e) (Funtions of multiple random variables)
$X_1, ..., X_n$がrandom variableであり，$f: \mathbb{R}^n \rightarrow \mathbb{R}$が連続である時，$f(X_1, ..., X_n)$もrandom variableである．特に$X_1+X_2, X_1X_2$はrandom variableである．

proof. 略

さらに，random variableの列の極限からrandom variableを定義することもできる．

Theorem 2

$(\Omega, \mathcal{F})$をmeasurable spaceとする．$X_n$がrandom variableであるとき，
$\inf_n X_n, \sup_n X_n, \liminf_{n \rightarrow \infty}X_n, \limsup_{n \rightarrow \infty}X_n$はrandom variableであって，さらに$\{X_n\}$が$X$に各点収束するとき，$X$もrandom variable である．

proof. 略