Gamarnik, Tsisiklis. Fundamentals of Probability 08日目 連続確率変数

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 8 Continuous Random Variables

1. Continuous Random Variables

random variable:$X \rightarrow \mathbb{R}$が連続であるとは，CDFが
$$P(X \leq x) = F_X(x) = \int^x_{-\infty} f_X(t)dt$$
と書けるような$f: [0, \infty)$があるということで，またこの$f$を$X$のPDF(probability density function)と呼ぶのだった．さらにこのとき，Borel集合$B$に
$$P(X \in B) = \int_B f_X(x) dx$$
が成立する．

2. Examples

2.1 Uniform

区間$[a, b]$を考えて,
$$F_X(x) = \begin{cases} 0 & x \leq a \\ (x-a)/(b-a) \ \ \ & a < x \leq b \\ 1 & x > b\end{cases}$$
とすると$F_X$はCDFの条件を満たしている．これを$U(a, b)$と書く．またこれのPDFは$f_X(x) = \begin{cases} 1/(b-a) \ \ & x \in [a, b] \\ 0 & otherwise\end{cases}$である．
また$[a, b]=[0, 1]$であるとき，probability lawは$[0, 1]$上のLebesgue measureである．

2.2 Exponential

$\lambda > 0$を固定し，$F_X(x) = \begin{cases}1 - e^{-\lambda x} \ \ \ &(x \geq 0) \\ 0 & x < 0 \end{cases}$とする．このとき$F_X$はCDFの条件を満たし，そのPDFは$f_X(x) = \begin{cases} \lambda e^{-\lambda x} \\ 0 \end{cases}$である．この分布を$\text{Exp}(\lambda)$と書く．
exponential distributionはgeometric distributionの極限と見ることが出来る．すなわち，$\delta>0$を固定して$F_X(k\delta)$を$k = 1, 2, ..$に考えると，これはgeometric CDFに一致する．
直感的には，$\delta$単位時間ごとに確率$\lambda \delta$で表が出るコインを投げ続け，$X$を初めて表が出るまでの時間の確率変数とするのである．
Exp($\lambda$)はmemorylessness property(無記憶性)という重要な性質を持つ．

Theorem 1

$X$をexponentially distributed random variableとする．このとき任意の$x, t \geq 0$に
$$P(X>x+t | X>x) = P(X>t)$$
が成立する．

proof.

$X$を$\lambda$をパラメータに持つexponential random variableとする．
$$\begin{aligned}P(X> x+t| X>t) = \frac{P(X > x+t, X>x)}{P(X>x)} = \frac{P(X>x+t)}{P(X>x)} \\ = \frac{e^{-\lambda(x+t)}}{e^{-\lambda x}} = e^{-\lambda t} = P(X>t ) \end{aligned}$$

2.3 Normal distribution

パラメータ$\mu \in \mathbb{R}$と$\sigma > 0$をもつnormal (or Gaussian) distributionを
$$f_X(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left(-\frac{(x-\mu)^2}{2\sigma^2} \right)$$
というPDFで定める．これを$N(\mu, \sigma^2)$と略記し，$N(0, 1)$を特にstandard normal distributionという．normal distributionのCDFを解析的に書くことはできないが，standard normal distributionの場合には数票が与えられている．standardでないnormal distributionの場合は簡単な変数変換によって計算できる．すなわち$X \sim N(\mu, \sigma^2)$について，$Y=(X-\mu)/\sigma$とすると，$Y \sim N(0,1)$であるから，
$$P(X \leq c) = P(\frac{X-\mu}{\sigma} \leq \frac{c-\mu}{\sigma}) = \Phi((c-\mu)/\sigma)$$
である．ただし$\Phi$は$N(0, 1)$のCDFとする．

2.4 Cauchy distribution

$f_X(x) = 1/(\pi(1+x^2))$というPDFをもつdistributionをCauchy distributionという．

2.5 Power law

discrete power law $p_X(k) = 1/k^{\alpha} - 1/(k+1)^{\alpha}, \ P(X \geq k) = 1/k^\alpha$を離散的に拡張する．
$P(X>x) = \beta/x^\alpha, F_X(x) = 1 - \beta/x^\alpha$.

3. Expected Values

discreteの場合と同じように，PDF $f_X$をもつcontinuous random variable $X$にも，expecetd value E[X]を
$$E[X] := \int^\infty_{-\infty} xf_X(x) dx$$
と定義する．この積分の収束性は$\int |x|f_X(x) < \infty$が十分条件である．このとき，$X$はintegrableであるという．
discrete の場合のexpectationについて得られた定理の全てがcontinuousの場合にも成立する．
ただし，総和でなく積分で表現しなければならないものもいくつかある．

Proposition 8-1

$X$を非負なrandom variableとする．すなわち$P(X<0)=0$．このとき
$$E[X] = \int^{\infty}_0 (1-F_X(t))dt$$

proof.

$$\begin{aligned} \int^\infty_0 (1-F_X(t))dt &= \int^\infty_0P(X>t) dt = \int^\infty_0 \int^\infty_t f_X(x)dx dt \\ &=\int^\infty_0 f_X(x) \int^x_0 dtdx = \int^\infty_0 xf_X(x) dx = E[X]\end{aligned}$$

Proposition 8-2

$X$のPDFが$f_X$とする．$g: \mathbb{R} \rightarrow \mathbb{R}$がmeasurableなら$g(X)$はintegrableであって，
$$E[g(X)] = \int^\infty_{-\infty} g(t)f_X(t)dt$$

proof.

$g(x) = g^{+}(x) - g^{-}(x), g^+ = \max\{g, 0\}, g^-=\max\{-g, 0\}$と，$g$を正の部分と負の部分に分ける．とくに$t\geq 0$に$g(x) > t \Leftrightarrow g^+(x) > t$である．
$$E[g(X)] = \underline{\int^\infty_0 P(g(X)>t)dt}_{(1)} - \underline{\int^\infty_0 P(g(X)< -t) dt}_{(2)}$$
ここで
$$(1) = \int^\infty_0 \int_{\{x|g(x)>t\}} f_X(x)dx dt = \int^\infty_{-\infty}\int_{\{t|0 \leq t < g(x)\}} f_X(x) dtdx = \int^\infty_{-\infty} g^+(x)f_X(x) dx$$
同様に
$$(2) = \int^\infty_{-\infty} g^-(x)d_X(x)dx$$
足し合わせて
$$E[g(X)] = \int g(x) f_X(x) dx$$
がたしかに成立する．

4. Joint Distributions

$X, Y$という同じprobability spaceのrandom variableの組を与えられたとき，
$f_{X,Y} : \mathbb{R}^2 \rightarrow [0, \infty)$で，
$$F_{X, Y} (x, y) = P(X \leq x, Y \leq y) = \int^x_{-\infty}\int^y_{-\infty}f_{X,Y}(u,v)dudv$$
となるようなmeasurable $f_{X,Y}$があるとき，$X,Y$はjointly continuousであるといい，$f_{X,Y}$をjoint PDFといい，$F_{X, Y}$をjoint CDFという．
joint PDFが連続な点で，
$$\frac{\partial^2 F}{\partial x \partial y} (x, y) = f_{X, Y}(x, y)$$
が成立する．また，$\mathbb{R}^2$のBorel set $B$に，
$$P((X, Y) \in B) = \int_B f_{X,Y}(x, y) dx dy = \int_{\mathbb{R}^2} I_B(x, y) f_{X, Y}dxdy$$
が成立する．さらに$B$のLebesgue measure が0なら$P(B)=0$である．
さて，
$$P(X \leq x) = \int^x_{-\infty} \int^\infty_{-\infty} f_{X,Y}(u,v)dudv$$
だから，$X$にはmarginal PDF
$$f_X(x) = \int^\infty_{-\infty} f_{X,Y}(x, y)dy$$
が得られる．
$x,Y$がjointly continuous なら$X,Y$はともにcontinous random variableであることがわかった．
一方，同じprobability spaceのcontinous random variableの組であっても,jointly continousであるとは限らない．

Proposition 8-3

$X, Y$はjoijntly continousで,そのPDFは$f_{X,Y}$とする．$g: \mathbb{R}^2 \rightarrow \mathbb{R}$がBorel measurableかつ$g(X)$がintegrableであるとき，
$$E[g(X, Y)] = \int \int g(u,v) f_{X, Y} (u, v) dudv$$
が成立する．

5. Independence

$X, Y$がindependentであるとは，$B_1, B_2 \in \mathcal{B}$に
$$P(X \in B_1, Y \in B_2) = P(X \in B_1) P(Y \in B_2)$$
が成立することと同値であった．
discreteの場合と同様，これと同値な命題がいくつか存在する．

Theorem 8-2

$X, Y$はjointly continousとする．以下は同値である．
(a) X, Y はindependent
(b) 任意の$x, y \in \mathbb{R}$に$\{X \leq x\}, \{Y \leq y\}$というeventはindependent
(c) 任意の$x, y \in \mathbb{R}$に$F_{X, Y} (x, y) = F_X(x) F_Y(y)$
(d) $f_X, f_Y, f_{X, Y}$がそれぞれ$F_X, F_Y, F_{X,Y}$のPDFであるとき，ほとんどすべての点$(x, y)$で$f_{X, Y}(x, y) = f_X(x) f_Y(y)$

proof.
Lec.6とほとんど同様．