Gamarnik, Tsisiklis. Fundamentals of Probability 05日目 確率変数2

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 5. Random Variables

2. Cumulative Distribution Functions

Definition 5-4 (Cumulative distribution function)

$X$をrandom variableとし、$F_X: \mathbb{R} \rightarrow [0, 1]$を
$$F_X(x) = P(X \leq x)$$
と定めると、random variableの定義より$F_X(x)$は常に定義されている.
$F_X$を$X$のcummulative distribution function(CDF, 累積分布関数)という.

Example 4.

$X$を2回のコイントスで表が出る回数の確率変数とすると,
$(X=0) = P(X=2) = 1/4, P(X=1) = 1/2$である.したがって,
$$F_X(x) = \begin{cases} 0 \ \ \ & x < 0 \\ 1/4 & 0 \leq x < 1 \\ 3/4 & 1 \leq x < 2 \\ 1 & x \geq 2 \end{cases}$$

Example 5. (A uniform random variable and its square)

$(\Omega=[0, 1], \mathcal{B}, P)$をprobability spaceとする.$P$はLebesgue masureとする.このときrandom variable $U$を,$U(\omega) = \omega$とすると,$U$はuniformly distributedという.このとき$U$のCDFは
$$F_U(x) = \begin{cases} 0 \ \ & x < 0 \\ x & 0 < x < 1 \\ 1 & x \geq 1 \end{cases}$$
である.$X=U^2$というrandom variableを考えると
$$F_X(x) = \begin{cases} 0 \ \ &x < 0 \\ \sqrt{x} & 0 \leq x < 1 \\ 1 & x \geq 1 \end{cases}$$
である.

2.1 CDF Properties

Theorem 5-3.

$X$をrandom variableとし,$F$をそのCDFとすると,以下を満たす.

(a) (Monotonicity) $x \leq y \Rightarrow F_X(x) \leq F_X(y)$
(b) (Limiting values) $\lim_{x \rightarrow - \infty} F_X(x) = 0, \lim_{x \rightarrow \infty} F_X(x) = 1$
(c) (Right-continuity) $\forall x \ \ \lim_{y \rightarrow x + 0} F_X(y) = F_X(x)$

proof.

(a)

$x \leq y$とする.$\{\omega| X(\omega) \leq x\} \subset \{\omega| X(\omega) \leq y\}$で,measureの単調性から成立.

(b)

$F_X(x)$は単調で,下に有界で,下限は0である.$x_n \rightarrow -\infty$なる数列を考えると,数列$F_X(x_n)$は単調減少して$\inf F_X(x_n) = 0$.単調有界定理より$\lim F_X(x_n) = 0$.continuity of probabilityから$\lim_{x \rightarrow - \infty} F_X(x) = 0$.後者も同様.

(c)

$\{x_n\} \rightarrow x + 0$とする.$\{X \leq x_n\}$というeventは現象列で,$\cap_n \{X \leq x_n\} = \{ X \leq x\}$である.continuity of probabilityから,
$$\lim F_X(x_n) = \lim P(X_ \leq x_n) = P(X \leq x_n) = F_X(x)$$
$\{x_n\}$の選び方は任意だから,$\lim_{x \rightarrow y + 0} F_X(y) = F_X(x)$

2.2 From a CDF to a probability law

$F: \mathbb{R} \rightarrow [0, 1]$がTheorem 5-3を満たしているとき,このような$F$をdistribution functionという.$F$が与えられたとき$F_X = F$となるようなrandom variable $X$(とprobability space)が必ず存在する.

Theorem 4.

$F$がdistribution functionであるなら,Lebesgue measureを持つprobability space ($[0, 1], \mathcal{B}, P)$)上のrandom variableで,そのCDF $F_X$が$F$に等しいものが存在する.

proof.

$F$が連続で狭義単調増加であると強い仮定を加えて議論する.
このとき$F$の値域は$(0, 1)$であって,$F$は可逆である.$U(\omega) = \omega, X(\omega) = F^{-1}(\omega)$とする.
このとき$X = F^{-1}(U)$であって$F(X) = U$である.$F$は狭義単調増加だから$X \leq x \Leftrightarrow F(X) \leq F(x)$.
$U=F(X)$を考えれば,(Example 5から)
$$F_X(x) = P(X \leq x) = P(F(X) \leq F(x)) = P(U \leq F(x)) = F(x)$$

$X$のprobability law(distribution)はすべてのBorel setに確率を割り当てるが,CDFは区間に対してのみ確率を割り当てる.

Proposition 5-2

$X$のprobability law $P_X$は$X$のCDF $F_X$がわかれば一意に定まる.
proof. 略

3. Discrete Random Variables

Definition 5-5 (Discrete random variables and PMFs)

(a) $(\Omega, \mathcal{F}, P)$がprobability spaceで,そのrandom variable $X$がdiscreteである
$\Leftrightarrow |X(\Omega)| \leq |\mathbb{N}|$
(b) $X$がdiscrete random variableであるとき,$p_X :\mathbb{R}\rightarrow [0, 1]$を$p_X(x) = P(X=x)$と定める.このとき$p_X$を$X$の(probability) mass functionといい,PMFとも書く.

$X(\Omega) = C, |C| < \infty$であるとき,任意のBorel set $A$に,countable additivityより
$$P(X \in A) = P(X \in A \cap C) = \sum_{x \in C} P(X=x) = \sum_{x \in C} p_X(x)$$
とくにCDFは
$$F_X(x) = \sum_{\{y \in C| y \leq x\}} P(X=y)$$
で与えられる.
整数の値だけを取るrandom variableはdiscreteであり,simple random variable($I_A$)もまたdiscreteである.
$X(\Omega) = \{x_1, x_2, ...\}$と書けるとき,$A_n = \{X=x_n\}$というeventを定義できる(eventであることはdef. 5-1から直ちに従う).$\{A_n\}$は互いに素な族で,$\sum A_n = \Omega$である.したがって,
$$X(\omega) = \sum x_n I_{A_n}(\omega)$$
と書ける.逆に,$\Omega = \sum A_n$なる族$\{A_n\}$と実数列$\{x_n\}$があるとき,
$$X(\omega) = \sum_n x_n I_{A_n}(\omega)$$
とすると$X$は$P(X=x_n) = P(A_n)$を満たすdiscrete random variableである.

4. Continuous Random Variables

Definition 5-6

$(\Omega, \mathcal{F}, P)$上のrandom variable $X$が continuousである
$\Leftrightarrow$ measurable function $f: \mathbb{R} \rightarrow [0, \infty)$で
$$F_X(x) = \int^x_{-\infty} f(t)dt$$
をみたすものが存在する.この$f$を$X$の(probability) density functionといいPDFとも書く.
(measurable function: Definition 5-3, $f^{-1}(B)\in \mathcal{F}_1$, 積分は後で議論する)

$\lim_{x \rightarrow \infty} F_X(x)=1$から,
$$\int^{\infty}_{\infty}f = 1$$
である.measurable functionが上の性質を満たすときdensity functionという.逆にdensity function fが与えられたとき$F(x) = \int^x_{-\infty} f(t) dt$とすると$F$はdistribution functionである.よって,density fnctionが与えられたとき,$F(x) = \int^x_{-\infty} f(t) dt$とすると,$F$をdistribution functionとするrandom variable $X$がある.
CDF $F_X$がある点$x$で微分可能なとき,$f_X(x) = F'(x)$であるが,CDFは必ずしも微分可能でない.また,continuous random variableのprobability density functionは一意ではない(これが問題となることは稀であるが).

Example 7

uniform random variable(Example 5)について,$x \in (0, 1)$で$F_U(x) = P(U \leq x) = x$である.微分して,
$f_X(x) = 1$.一方$F_U(0) = 0 (x \leq 0)$だから$F_U$は$x=0$で微分不可能であるその微分係数を実数のどれとしても結果は変わらない.

continuous random variableのprobability density functionによって,様々な数直線上の部分集合の確率を計算できる.例えば$\forall x \ \ P(X=x) =0$なら,
$$P(a < X < b) = P(a \leq X \leq b) = \int^b_a f_X(t)dt$$
である.より一般に,Borel set Bに,
$$P(X \in B) = \int_B f(t) dt = \int I_B(t) f_X(t)dt$$
である.特に$B$がmeasure 0 なら$P(X \in B) = 0$である.