David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.
Lecture 9. Continuous Random Variables
2. Conditional PDFs
discrete random variable の場合にはconditional CDFはFX|Y(x|y)=P(X≤x|Y=y),P(Y=y)>0によって定義された.一方continous random variableの場合はP(Y=y)=0が常に成立するので,単純にdiscreteを拡張するわけには行かない。そこで、FX|Y(x|y)をP(X≤x|y≤Y≤y+δ)のδ→0の極限と考える.ここで
FX|Y(x|y)∼P(X≤x|y≤Y≤y+δ)=P(X≤x,y≤Y≤y+δ)P(y≤Y≤y+δ)∼∫x−∞∫y+δyfX,Y(u,v)dudvδfY(y)∼δ∫x−∞fX,Y(u,y)duδfY(y)=∫x−∞fX,Y(u,y)dufY(y)
この式がDef 9-1を動機づける.
Definition 9-1
(a)
YがあるときのXのconditional CDFを
FX|Y(x|y)=∫x−∞fX,Y(u,y)fY(y)du
をfY(y)>0なるyに定める.
(b)
YがあるときのXのconditional PDFを
fX|Y(x|y)=fX,Y(x,y)fY(y)
をfY(y)>0に定める.
(c)
Y=yがあるときのXのconditional expectationを
E[X|Y−y]=∫xfX|Y(x|y)dx
をfY(y)>0に定める.
(d)
Y=yがあるとき,{X∈A}のconditional probabilityを
P(X∈A|Y=y)=∫AfX|Y(x|y)dx
をfY(y)>0に定める.
4. Conditional Expectation as a Random Variable
discreteの場合と同様,E[X|Y=y]はまたrandom variableである.すなわち
E[X|Y]:Ω∋ω↦E[X|Y=Y(ω)]=∫xfX|Y=Y(ω)(x|y)∈R
はrandom variableである.
measurableなgがあるときE[E[X|Y]g(Y)]=E[Xg(Y)]である.特にg=1を考えればE[E[X|Y]]=E[X]$である.
4.1 Optimality properties of conditional expectations
E[X|Y]はYを与えられたときのXのestimation(推測)と考えることが出来る.実際E[X|Y]はX−E[X|Y]をestimation errorと考えたときこれが他のestimationのすべてのestimation errorのうち最少とするという点で最良のestimationである.
Theorem 9-1
E[X2]<∞とする.measurable g:R→Rについて
E[(X−E[X|Y])2]≤E[(X−g(Y))2]
である.
proof.
E[(X−y(Y))2]=E[(X−E[X|Y])2]+E[(E[X|Y]−g(Y))2]+E[(X−E[X|Y])(E[X|Y]−g(Y))]]≥E[(X−E[X|Y])2]
5. Mixed Versions of Bayes’ Rule
Xをまだ観測されていないrandom variableで, CDFは既知なFXとする.Xと独立でないrandom variable Yがあって,そのconditional CDF はFY|Xであるとする. Yの現れを観測したときXを推測することを考える.Xの具体的な値を1つ推測することもあるが,XのYを条件としたconditional distributionを考えることが多い.これはBayes’ ruleを使って実現できる.
X,Yがともにdiscreteであるとき
pX|Y(x|Y)=pX(x)pY|X(y|x)pY(y)=pX(x)pY|X(y|x)∑x′pX(x′)pY|X(y|x′)
である.X,Yがともにcontinuousであるなら
fX|Y(x|y)=fX(x)fY|X(y|x)fY(y)=fX(x)fY|X(y|x)∫fX(x′)fY|X(y|x′)dx′
である.
一方がdiscreteでもう一方がcontinuousである場合を考える. KがdiscreteでZがcontinuousとし,joint distributionをfK,Z(k,z)とおくと
P(K=k,Z≤z)=∫z−∞fK,Z(k,t)dt
さらに
pK(k)=P(K=k)=∫∞−∞fK,Z(k,t)dt
FZ(z)=P(Z≤z)=∑k∫z−∞fK,Z(k,t)dt=∫z−∞∑kfK,Z(k,t)dz
したがって
fZ(z)=∑kfK,Z(k,z)
がZのPDFである.
P(K=k)>0であれば
P(Z≤z|K=k)=∫z−∞fK,Z(k,t)pK(k)dt
であって,
fZ|K(z|k)=fK,Z(k,z)/pK(k)
と定めて良い.また別の議論で
pK|Z(k|z)=pK(k)fZ|K(z|k)fZ(z)=pK(k)fZ|k(z|k)∑k′pK(k′)fZ|K(z|k′)
と示せる.
0 件のコメント:
コメントを投稿