Gamarnik, Tsisiklis. Fundamentals of Probability 06日目 離散確率変数1

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 6. Discrete random variables and their expectations

1. A Few Useful Random Variables

$X$の値域がたかだか可算であるときrandom variable $X$をdiscrete random variableといい,そのPMF(probability mass function) $p_X: \mathbb{R} \ni x \mapsto P(X=x) \in [0, 1]$は,$X$と一対一に対応するのだった.以下は特に重要なPMFたちである.

(a) Discrete uniform

$a, b \in \mathbb{Z}, a < b$に,
$$p_X(k) = \begin{cases} 1 / (b - a + 1), \ \ &k \in \{a, a+1, ..., b\} \\ 0 & \text{otherwise} \end{cases}$$

(b) Bernoulli

$p \in [0, 1]$に,
$$p_X(1)=p, p_X(0)=1-p$$
(本文では$p_X(0)=p, p_X(1)=1-p$なのだが,過去に出てきたコイントスの例だと1で表,0で裏を表すようにしていたし,(c)の解説では表の場合の確率をpとしていた.おそらく誤植だろう.)

(c) Binomial

$n \in \mathbb{N}, p \in [0, 1]$に,
$$p_X(k) = \left( \begin{array}{} n \\ k\end{array}\right) p^k (1-p)^{n-k}$$
binomial random variableは,表が出る確率$p$のコイントスを$n$回繰り返して$k$回表が出る確率を表している.

(d) Geometric

$0 < p \leq 1$として,
$$p_X(k) = (1-p)^{k-1}p, \ \ \ k \in \mathbb{N}$$
geometric random variableは表が出る確率$p$のコイントスで$k$回目に初めて表が出る確率を表している.

(e) Poisson

$\lambda > 0$に,
$$p_X(k) = e^{-\lambda} \frac{\lambda^k}{k!}$$
Poisson random variableはbinomial random variableの極限と考えることが出来る.

(f) Power law(冪乗則)

$\alpha > 0$に,
$$p_X(k) = \frac{1}{k^\alpha} - \frac{1}{(k+1)^\alpha}$$
ここで
$$P(X \geq k) = \frac{1}{k^\alpha}$$
が成立する.

Notation

上で定義したPMFをそれぞれ$dU(a, b), Ber(p), Bin(n, p), Geo(p), Pois(\lambda), Pow(\alpha)$と略記することにする.また$X$が例えばdU($a, b$)が定めるPMFを持つとき,$X \sim dU(a, b)$と書くように,$\sim$という記号を導入する.また,$X \;{\tiny\begin{matrix}^{\scriptsize d}\\ \normalsize = \end{matrix} }\; Y$
によって,$X$と$Y$が同じPMFを持つことを示すとする.

1.1 Poisson distribution as a limit of the binomial

Poisson distributionははbinomial distributionのnを大きく,pを小さくした極限で,例えばある年での事故件数のような稀な事象のモデルを作るときによく使われる.この場合$\lambda$はその稀な事象の平均件数を表している.

Proposition 6-1.(Binomial convergence to Poisson)

$X_n = \text{Bin}(n, \lambda/n)$がすべての$n$に成立し,$X\;{\tiny\begin{matrix}^{\scriptsize \Delta}\\ \normalsize = \end{matrix} }\; Pois(\lambda)$とする.このとき$n \rightarrow \infty$によって$X_n$のPMFは$X$のPMFに収束する.つまり,
$$\forall k\ \lim_{n \rightarrow \infty}P(X_n=k) = P(X=k)$$

proof.

$$P(X_n = k) = \frac{n(n-1)\cdots (n-k+1)}{n^k} \frac{\lambda^k}{k!} \left(1 - \frac{\lambda}{n} \right)^{n-k}$$
$k$を固定して$n \rightarrow \infty$とすると,$j \in \{1, ..., k\}$で
$$\frac{n-k+j}{n} \rightarrow 1, (1-\frac{\lambda}{n})^{-k} \rightarrow 1, (1-\frac{\lambda}{n})^n \rightarrow e^{-\lambda}$$
よって$\lim_{n\rightarrow \infty}P(X_n=k) \rightarrow e^{-\lambda}\frac{\lambda^k}{k!}=P(X=k)$

2. Joint, Marginal, And Conditional PMFs

2.1 Marginal PMFs

$X, Y$は同じprobability spaceのrandom variableとする.それぞれのprobability lawがPMF $p_X, p_Y$によって書けるとき,これらをmarginal PMFとよぶ.(ようするにただのPMF)

2.2 Joint PMFs

$$p_{X, Y} (x, y) = P(X=x, Y=y)$$
で定義される$p_{X,Y}: \mathbb{R}^2 \rightarrow [0, 1]$を$X, Y$のjoint PMFという.より一般に,$\{X_i\}_{i=1}^N$というrandom variableたちがあるとき,これらのjoint PMFは
$$p_{X_1, ..., x_N} (x_1, ..., x_N) = P(X_1=x_1, ..., X_N=x_N)$$
で定義される.random variableのベクトル$X=(X_1, ..., X_N)$を定義して,上のjoint PMFを単に$p_X(x)$と書くことが有る.
$X, Y$のjoint PMFは,$X$と$Y$によって決められるeventの確率を決めることが出来る.例えば,$A$を$(x, y)$がある性質を満たす集合とすると,
$$P((X, Y) \in A) = \sum_{(x, y) \in A} p_{X, Y}(x, y)$$
が成立する.ところで,marginal PMFによって,$X, Y$のmarginal PMFを計算できる.
$$p_X(x) = \sum_y p_{X,Y} (x, y), p_Y(y) = \sum_x p_{X,Y}(x,y)$$
である.

2.3 Conditional PMFs

$X, Y$が同じprobability spaceのdiscrete random variableであって,joint PMFは$p_{X, Y}$であるとする.このとき$X$と$Y$のconditional PMFを,
$$p_{X|Y} (x|y) := P(X=x|Y=y) \ \ \ \text{if}\ \ P(Y=y)>0$$
によって定める.定義より
$$p_{X|Y}(x|y)=\frac{p_{X,Y}(x, y)}{p_Y(y)}$$
である.

Independence of Random Variables

3.1 Independence of general random variables

random variable $X, Y$がindependent(独立)とは,一方の値が決まってももう一方の値の分布が変わらないということである.形式的には

Definition 6-1 (Independence of random variables)

(a) $X_1, ..., X_n$を同じprobability spaceのrandom variableとする.
$$P(X_1 \in B_1, ..., X_n \in B_n) = P(X_1 \in B_1) \cdots P(X_n \in B_n)$$
が任意のBorel subsetたち$B_1, ..., B_n$になりたつとき,$\{X_i\}_1^n$はindependent(独立)であるという.
(b) $\{X_s| s \in S\}$の独立性は,その任意の有限部分集合の独立性と同値とする.

Proposition 6-2

任意の$\{x_1, ..., x_n\}\subset \mathbb{R}^n, \ \ \{s_1, ..., s_n\} \subset S$に,$\{X_{s_i}\leq x_i\}_{i=1}^n$というeventたちがindependentなら,$\{X_s\}_{s \in S}$もまたindependent.
(event $A, B$がindependent $\Leftrightarrow P(A \cap B) = P(A)P(B)$)

proof. 略
random variable $X_1, ..., X_n$のjoint CDFを,
$$F_{X_1, ..., X_n}(x_1, ..., x_n) := P(X_1 \leq x_1, ..., X_n \leq x_n)$$
と定める.prop.2の観点から,$\{X_i\}_1^n$の独立性は
$$\forall x_1, ..., x_n\ \ \ F_{X_1, ..., X_n}(x_1, ..., x_n) = F_{X_1}(x_1) \cdots F_{X_n}(x_n)$$
と同値である.

3.2 Independence of Discrete Random Variables

有限個のdiscrete random variableの独立性はjoint PMFがmarginal PMFの積になることと同値である.

Theorem 6-1

$X, Y$はdiscrete random variableとする.以下は同値
(a) $X, Y$は独立
(b) $\forall x, y \in \mathbb{R}$に,$\{X=x\}$と$\{Y=y\}$というeventは独立
(c) $\forall x, y \in \mathbb{R}$に$p_{X, Y}(x, y) = p_X(x)p_Y(y)$
(d) $\forall x, y \in \mathbb{R}$に,$p_Y(y)>0$なら$p_{X|Y}(x|y) = p_X(x)$

proof.

($a \Rightarrow b$)

定義より明らか

($b \Leftrightarrow c$)

$\begin{aligned} \{X=x\}, \{Y=y\} \text{が独立} &\Leftrightarrow \forall x, y \ \ P(X=x, Y=y) = P(X=x)P(Y=y) \\&\Leftrightarrow \forall x, y \ \ p_{X,Y}(x, y) = p_X(x) p_Y(y) \end{aligned}$

($c \Rightarrow d$)

明らか

($c \Rightarrow a$)

仮定のもとで,任意のBorel set $A, B$に
$$\begin{aligned} P(X \in A, Y \in B) &= \sum_{x \in A, y \in B} P(X=x, Y=y) \\ &= \sum_{x \in A, y \in B} p_{X, Y}(x, y) \\ &= \sum_{x \in A, y \in B} p_X(x)p_Y(y) \\&=(\sum_{x \in A}p_X(x))(\sum_{y \in B}p_Y(y)) \\ &= P(X \in A) P(Y \in B)\end{aligned}$$

Theorem 6-2

$X, Y$が独立なdiscrete random variableとする.$g, h:\mathbb{R}\rightarrow \mathbb{R}$を任意の関数とする.このとき$g(X),g(Y)$というrandom varibaleは独立である

3.3 Examples

Example

$X_1, ..., X_n$を,同じパラメータ$p$をもつBernoulli random variableたちとする.$X=X_1 + \cdots +X_n$とすると,$X$は$(n, p)$のbinomial random variableである.

Example

$X, Y$を,それぞれ$(n, p), (m, p)$のパラメータを持つ独立なbinomial random variableとする.$Z=X+Y$とすると,$Z$はパラメータ$(n+m, p)$をもつbinomial random variableである.

Example

確率$p$で表が出るコイントスを$n$回行う.$X$を表が出た回数として,$Y=n-X$とすると,$Y$は裏が出た回数のrandom variableである.$P(X=0) = (1-p)^n, P(Y=0) =p^n$であるが,$P(X=0, Y=0)=0 \neq P(X=0)P(Y=0)$から,$X,Y$は独立でない.

一方で,コイントスの回数もまたランダムであるとき,表が出る回数のrandom variableと裏が出る回数のrandom variableは独立になる.$N$をパラメータ$\lambda$のPoisson random variableとすると,conditional PMF $p_{X|N}(\cdot|n)$は$(n, p)$のbinomialであって,$Y=N-X$とすると,$X,Y$は独立となる.(次定理)

Theorem 3. (Splitting of a Poisson random variable)

上の条件のもとで$X, Y$は独立であり,$X \;{\tiny\begin{matrix}^{\scriptsize d}\\ \normalsize = \end{matrix} }\; Pois(\lambda p), Y \;{\tiny\begin{matrix}^{\scriptsize d}\\ \normalsize = \end{matrix} }\; Pois(\lambda(1-p))$ である.