2017年7月14日金曜日

Gamarnik, Tsisiklis. Fundamentals of Probability 09日目 連続確率変数の条件付き確率

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 9. Continuous Random Variables

2. Conditional PDFs

discrete random variable の場合にはconditional CDFはFX|Y(x|y)=P(Xx|Y=y),P(Y=y)>0によって定義された.一方continous random variableの場合はP(Y=y)=0が常に成立するので,単純にdiscreteを拡張するわけには行かない。そこで、FX|Y(x|y)P(Xx|yYy+δ)δ0の極限と考える.ここで
FX|Y(x|y)P(Xx|yYy+δ)=P(Xx,yYy+δ)P(yYy+δ)xy+δyfX,Y(u,v)dudvδfY(y)δxfX,Y(u,y)duδfY(y)=xfX,Y(u,y)dufY(y)


この式がDef 9-1を動機づける.

Definition 9-1

(a)
YがあるときのXのconditional CDFを
FX|Y(x|y)=xfX,Y(u,y)fY(y)du


fY(y)>0なるyに定める.
(b)
YがあるときのXのconditional PDFを
fX|Y(x|y)=fX,Y(x,y)fY(y)

fY(y)>0に定める.
(c)
Y=yがあるときのXのconditional expectationを
E[X|Yy]=xfX|Y(x|y)dx

fY(y)>0に定める.
(d)
Y=yがあるとき,{XA}のconditional probabilityを
P(XA|Y=y)=AfX|Y(x|y)dx

fY(y)>0に定める.

4. Conditional Expectation as a Random Variable

discreteの場合と同様,E[X|Y=y]はまたrandom variableである.すなわち
E[X|Y]:ΩωE[X|Y=Y(ω)]=xfX|Y=Y(ω)(x|y)R


はrandom variableである.
measurableなgがあるときE[E[X|Y]g(Y)]=E[Xg(Y)]である.特にg=1を考えればE[E[X|Y]]=E[X]$である.

4.1 Optimality properties of conditional expectations

E[X|Y]Yを与えられたときのXのestimation(推測)と考えることが出来る.実際E[X|Y]XE[X|Y]をestimation errorと考えたときこれが他のestimationのすべてのestimation errorのうち最少とするという点で最良のestimationである.

Theorem 9-1

E[X2]<とする.measurable g:RRについて
E[(XE[X|Y])2]E[(Xg(Y))2]


である.

proof.

E[(Xy(Y))2]=E[(XE[X|Y])2]+E[(E[X|Y]g(Y))2]+E[(XE[X|Y])(E[X|Y]g(Y))]]E[(XE[X|Y])2]

5. Mixed Versions of Bayes’ Rule

Xをまだ観測されていないrandom variableで, CDFは既知なFXとする.Xと独立でないrandom variable Yがあって,そのconditional CDF はFY|Xであるとする. Yの現れを観測したときXを推測することを考える.Xの具体的な値を1つ推測することもあるが,XYを条件としたconditional distributionを考えることが多い.これはBayes’ ruleを使って実現できる.
X,Yがともにdiscreteであるとき
pX|Y(x|Y)=pX(x)pY|X(y|x)pY(y)=pX(x)pY|X(y|x)xpX(x)pY|X(y|x)


である.X,Yがともにcontinuousであるなら
fX|Y(x|y)=fX(x)fY|X(y|x)fY(y)=fX(x)fY|X(y|x)fX(x)fY|X(y|x)dx

である.
一方がdiscreteでもう一方がcontinuousである場合を考える. KがdiscreteでZがcontinuousとし,joint distributionをfK,Z(k,z)とおくと
P(K=k,Zz)=zfK,Z(k,t)dt

さらに
pK(k)=P(K=k)=fK,Z(k,t)dt

FZ(z)=P(Zz)=kzfK,Z(k,t)dt=zkfK,Z(k,t)dz

したがって
fZ(z)=kfK,Z(k,z)

ZのPDFである.
P(K=k)>0であれば
P(Zz|K=k)=zfK,Z(k,t)pK(k)dt

であって,
fZ|K(z|k)=fK,Z(k,z)/pK(k)

と定めて良い.また別の議論で
pK|Z(k|z)=pK(k)fZ|K(z|k)fZ(z)=pK(k)fZ|k(z|k)kpK(k)fZ|K(z|k)

と示せる.

0 件のコメント:

コメントを投稿