MIT OCW, Fundamentals of Probability 15日目 モーメント母関数2

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.
[TOC]

Lecture 14. Moment Generating Functions

2. Sum of a Random Number of Independent Random Variables

$X_1, X_2, ...$をi.i.d. なrandom variableの列とする.meanは$\mu$, varianceは$\sigma^2$とする.$N$を非負整数をとる別のrandom variableとする. $Y = \sum_{I=1}^N X_i$とし,$Y$の様々な統計量を考える.
まず
$$E[Y] = E[E[Y|N]] = E[N\mu] = E[N]E[X]$$
さらに, law of total varianceによって
$$\begin{aligned} var[Y] &= E[var(Y|N)] + var(E[Y|N]) \\ &= E[N\sigma^2] + var(N\mu) \\ &= E[N]\sigma^2 + \mu^2 var(N) \end{aligned}$$
また$E[\exp(sY) | N=n] = M^n_X(s) =\exp(n\log M_X(s))$だから,
$$M_Y(s) = \sum \exp(n\log M_X(s)) P(N=n) = M_N(\log M_X(s))$$

Example

$X_i$はexp($\lambda$)に従う独立なrandom variableとする.また$N \sim geo(p)$とすると
$$M_Y(s) = \frac{e^{\log M_X(s)}p}{1-e^{\log M_X(s)}(1-p)} = \frac{p\lambda/(\lambda-s)}{1-\lambda(1-p)/(\lambda-s)} = \frac{\lambda p}{\lambda p - s}$$
$\because M_N(s) = \sum_{n} p(1-p)^{n-1} e^{sn}$
このように,$Y_M(s)$はパラメータ$\lambda p$のexponential random variableのmoment generating functionと一致する.
cf.

$X \sim exp(\lambda)$とすると,
$M_X(s) = \int^{\infty}_0 e^{sx} \lambda e^{-\lambda x} = \lambda \int^{\infty}_0 e^{x(s-\lambda)} = \lambda[\frac{1}{s-\lambda} e^{x(s-\lambda)}]^\infty_0 = \frac{\lambda}{\lambda - s}$

inversion theoremから$Y \sim exp(\lambda p)$.exponential random variableの有限和はexponential出ないことを考えると驚くべき結果である. 後にPoisson processの視点から直感的な説明を与える.

3. Transfroms Associated wtih Joint Distributions

$X, Y$にjoint distribution(joint PDF)があるとき,$M_X(s)$と$M_Y(s)$が導ける.これはmarginal distribution の変換で，もう一方のrandom variableとの関係性を保存しない. $X, Y$の関係を保存する変換を述べる. $X_1, ..., X_n$について,$s_1, ..., s_n$を実数のパラメータとすると,associated multivariate transformを$n$変数関数
$$M_{X_1, ..., X_n}(s_1, ..., s_n) = E[e^{s_1X_1 + ... +s_nX_n)}]$$
と定める.