Gamarnik, Tsisiklis. Fundamentals of Probability 09日目 連続確率変数の条件付き確率

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 9. Continuous Random Variables

2. Conditional PDFs

discrete random variable の場合にはconditional CDFは$F_{X|Y}(x|y) = P(X \leq x| Y = y), P(Y=y)>0$によって定義された.一方continous random variableの場合は$P(Y=y) = 0$が常に成立するので,単純にdiscreteを拡張するわけには行かない。そこで、$F_{X|Y}(x|y)$を$P(X\leq x| y\leq Y \leq y+\delta)$の$\delta \rightarrow 0$の極限と考える.ここで
$$\begin{aligned}F_{X|Y}(x|y) &\sim P(X\leq x | y \leq Y \leq y + \delta) \\ &= \frac{P(X \leq x, y \leq Y \leq y + \delta)}{P(y \leq Y \leq y + \delta)} \\ &\sim \frac{\int^x_{-\infty} \int^{y+\delta}_y f_{X, Y}(u, v)dudv}{\delta f_Y(y)} \\ &\sim \frac{\delta \int^x_{-\infty} f_{X, Y} (u, y) du}{\delta f_Y(y)} \\ &= \frac{\int^x_{-\infty} f_{X,Y}(u,y)du}{f_Y(y)} \end{aligned}$$
この式がDef 9-1を動機づける.

Definition 9-1

(a)
$Y$があるときの$X$のconditional CDFを
$$F_{X|Y}(x|y) = \int^x_{-\infty} \frac{f_{X, Y} (u, y)}{f_Y(y)}du$$
を$f_Y(y) >0$なる$y$に定める.
(b)
$Y$があるときの$X$のconditional PDFを
$$f_{X|Y}(x|y) = \frac{f_{X,Y}(x, y)}{f_Y(y)}$$
を$f_Y(y) >0$に定める.
(c)
$Y=y$があるときの$X$のconditional expectationを
$$E[X|Y-y] = \int x f_{X|Y} (x|y)dx$$
を$f_Y(y)>0$に定める.
(d)
$Y=y$があるとき,$\{X \in A\}$のconditional probabilityを
$$P(X \in A| Y = y) = \int_A f_{X|Y} (x|y)dx$$
を$f_Y(y) > 0$に定める.

4. Conditional Expectation as a Random Variable

discreteの場合と同様,$E[X|Y=y]$はまたrandom variableである.すなわち
$$E[X|Y] :\Omega \ni \omega \mapsto E[X|Y=Y(\omega)] = \int x f_{X|Y=Y(\omega)}(x|y) \in \mathbb{R}$$
はrandom variableである.
measurableな$g$があるとき$E[E[X|Y]g(Y)]=E[Xg(Y)]$である.特に$g=1$を考えればE[E[X|Y]]=E[X]$である.

4.1 Optimality properties of conditional expectations

$E[X|Y]$は$Y$を与えられたときの$X$のestimation(推測)と考えることが出来る.実際$E[X|Y]$は$X-E[X|Y]$をestimation errorと考えたときこれが他のestimationのすべてのestimation errorのうち最少とするという点で最良のestimationである.

Theorem 9-1

$E[X^2] < \infty$とする.measurable $g: \mathbb{R} \rightarrow \mathbb{R}$について
$$E[(X-E[X|Y])^2]\leq E[(X-g(Y))^2]$$
である.

proof.

$$\begin{aligned} E[(X-y(Y))^2] &= E[(X-E[X|Y])^2] + E[(E[X|Y] - g(Y))^2] +\\ & E[(X-E[X|Y])(E[X|Y]-g(Y))]] \geq E[(X-E[X|Y])^2] \end{aligned}$$

5. Mixed Versions of Bayes’ Rule

$X$をまだ観測されていないrandom variableで, CDFは既知な$F_X$とする.$X$と独立でないrandom variable $Y$があって,そのconditional CDF は$F_{Y|X}$であるとする. Yの現れを観測したとき$X$を推測することを考える.$X$の具体的な値を1つ推測することもあるが,$X$の$Y$を条件としたconditional distributionを考えることが多い.これはBayes’ ruleを使って実現できる.
$X, Y$がともにdiscreteであるとき
$$p_{X|Y}(x|Y) = \frac{p_X(x)p_{Y|X}(y|x)}{p_Y(y)} = \frac{p_X(x) p_{Y|X}(y|x)}{\sum_{x'} p_X(x')p_{Y|X}(y|x')}$$
である.$X, Y$がともにcontinuousであるなら
$$f_{X|Y}(x|y) = \frac{f_X(x) f_{Y|X}(y|x)}{f_Y(y)} = \frac{f_X(x)f_{Y|X}(y|x)}{\int f_X(x')f_{Y|X}(y|x')dx'}$$
である.
一方がdiscreteでもう一方がcontinuousである場合を考える. $K$がdiscreteで$Z$がcontinuousとし,joint distributionを$f_{K,Z}(k,z)$とおくと
$$P(K=k, Z\leq z) = \int^z_{-\infty} f_{K,Z}(k,t)dt$$
さらに
$$p_K(k)= P(K=k) = \int^\infty_{-\infty} f_{K,Z}(k, t)dt$$
$$F_Z(z) = P(Z\leq z) = \sum_k \int^z_{-\infty} f_{K,Z} (k,t)dt = \int^z_{-\infty}\sum_k f_{K,Z} (k,t)dz$$
したがって
$$f_Z(z) = \sum_k f_{K,Z}(k,z)$$
が$Z$のPDFである.
$P(K=k) > 0$であれば
$$P(Z \leq z| K=k) = \int^z_{-\infty} \frac{f_{K,Z} (k, t)}{ p_K(k)}dt$$
であって,
$$f_{Z|K}(z|k) = f_{K,Z}(k,z)/p_K(k)$$
と定めて良い.また別の議論で
$$p_{K|Z}(k|z) = \frac{p_K(k) f_{Z|K}(z|k)}{f_Z(z)} = \frac{p_K(k) f_{Z|k}(z|k)}{\sum_{k'} p_K(k')f_{Z|K}(z|k')}$$
と示せる.