2017年7月20日木曜日

MIT OCW, Fundamentals of Probability 14日目 モーメント母関数1

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

モーメント母関数からは逃げられなかったよ・・・

Lecture 14. Moment Generating FUnctions

momment generating function(モーメント母関数)とその類概念(probability generating function, characterstic function)はprobability distributionを1変数の関数で表現する方法の一つである.

1. Moment Generating Fucntions

1.1 Definition

Definition 14-1

random variable Xのmoment generating functionを
MX:RsE[esX][0,]


と定める.また,MXdomain DXを,DX={s|MX(s)<}と定める.

Xがdiscrete random variableでPMFがpXならば
MX(s)=xesxpX(x)


Xがcontinuous random variableでPMFがfXならば
MX(s)=esxfX(x)dx

1.2 The Domain of the Moment Generating Function

MX(0)=E[1]=1から,0DXである.discrete random variableで|X(Ω)|<ならば,DX=Rである.一方Cauchy distributino fX(x)=1/(π(1+x2))では,DX={0}である.一般にDX0を含む区間である.

1.3 Invension of Transforms

MX(s)の定義から,DXにおいてMX(s)が与えられればXのdistributionが得られる.一方DX以外の点ではXのdistributionはわからない.

Theorem 14-1 Inversion Theorem

(a) MX[a,]上で有限なら,MXXの固有のCDFを与える.
(b) MX(s)=MY(s)<[a,b]で成り立つとき,X,Yは同じCDFを持つ.

1.4 Moment Generating Properties

MXの0における微分係数を考える.微分と積分の順序交換が可能と仮定すると
dMX(s)dss=0=ddsesxfX(x)dxs=0=xesxfX(x)dxs=0=xfX(x)dx=E[X]


dmMX(s)dsms=0=xmesxfX(x)dxs=0=E[Xm]

よってXk次モーメントはM(k)X(0)で計算できる.

1.5 The Probability Generating Function

Definition 14-2

gX(s)=E[sX]


Xprobability generating functionという.普通s>0である.

X>0ならばgX(s)とその微分係数がs=0で存在するので,XpX(m),m=1,2,...というPMFを持っているとき,
gX(s)=m=1smpX(m)


だから,
dmdsmgX(s)s=0=m!pX(m)

である.X>0であればgXから容易にpXが得られる

1.6 Examples

Example

X=dExp(λ)とすると,
MX(s)=0esxλeλx={λ/(λs)  s<λotherwise

Example

X=dGe(p)とすると,
MX(s)=m=1esmp(1p)m1={esp/(1(1p)es))   es<1/(1p)otherwise


gX(s)=m=1smp(1p)m1={sp1s(1p)   s<1/(1p)otherwise

Example

X=dN(0,1)とすると,
MX(s)=12πexp(sx)exp(x22)dx=exp(s2/2)2πexp(x2+2sxs22)dx=exp(s2/2)           ガウス関数の積分を使った

1.7 Properties of Moment Generating Functions

Theorem 14-2

(a) Y=aX+bならMY(s)=esbMX(as)
(b) X,Yが独立ならMX+Y(s)=MX(s)MY(s)
(c) X,Yが独立でZXである確率がp,Yである確率が1pであるとすると
MZ(s)=pMX(s)+(1p)MY(s)

proof.

(a) MX(aX;B)=E[exp(saX+sb)]=exp(sb)E[exp(saX)]=exp(sb)MX(as)


(b) MX+Y(s)=E[exp(sX+sY)]=E[exp(sX)]E[exp(sY)]=MX(s)MY(s)

(c) MZ(s)=E[esz]=pE[esX]+(1p)E[esY]=pMX(s)+(1p)MY(s)

Example: (Normal random variables)

(a) X=dN(0,1)で,Y=σX+μとする.YN(μ,σ2)で,MY(s)=exp(sμ)MX(σs)=exp(sμ+12s2σ2)
(b) X=dN(μ1,σ21),Y=dN(μ2,σ22)とすると
MX+Y(s)=exp({s(μ1+μ2)+12s2(σ21+σ22)})


inversion propertyからX+Y=dN(μ1+μ2,σ21+σ22)

0 件のコメント:

コメントを投稿