MIT OCW, Fundamentals of Probability 14日目 モーメント母関数1

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

モーメント母関数からは逃げられなかったよ・・・

Lecture 14. Moment Generating FUnctions

momment generating function(モーメント母関数)とその類概念(probability generating function, characterstic function)はprobability distributionを1変数の関数で表現する方法の一つである．

1. Moment Generating Fucntions

1.1 Definition

Definition 14-1

random variable $X$のmoment generating functionを
$$M_X: \mathbb{R} \ni s \mapsto E[e^{sX}] \in [0, \infty]$$
と定める．また，$M_X$のdomain $D_X$を，$D_X = \{s|M_X(s) < \infty\}$と定める．

$X$がdiscrete random variableでPMFが$p_X$ならば
$$M_X(s) = \sum_x e^{sx} p_X(x)$$
$X$がcontinuous random variableでPMFが$f_X$ならば
$$M_X(s) = \int e^{sx} f_X(x)dx$$

1.2 The Domain of the Moment Generating Function

$M_X(0) = E[1] = 1$から，$0 \in D_X$である．discrete random variableで$|X(\Omega)|<\infty$ならば，$D_X = \mathbb{R}$である．一方Cauchy distributino $f_X(x)=1/(\pi(1+x^2))$では，$D_X=\{0\}$である．一般に$D_X$は$0$を含む区間である．

1.3 Invension of Transforms

$M_X(s)$の定義から，$D_X$において$M_X(s)$が与えられれば$X$のdistributionが得られる．一方$D_X$以外の点では$X$のdistributionはわからない．

Theorem 14-1 Inversion Theorem

(a) $M_X$が$[-a, ]$上で有限なら，$M_X$は$X$の固有のCDFを与える.
(b) $M_X(s) =M_Y(s) < \infty$が$[a, b]$で成り立つとき，$X, Y$は同じCDFを持つ．

1.4 Moment Generating Properties

$M_X$の0における微分係数を考える．微分と積分の順序交換が可能と仮定すると
$$\frac{dM_X(s)}{ds} \mid_{s=0} = \frac{d}{ds} \int e^{sx}f_X(x)dx \mid_{s=0} = \int xe^{sx}f_X(x)dx \mid_{s=0} = \int xf_X(x)dx = E[X]$$
$$\frac{d^mM_X(s)}{ds^m} \mid_{s=0} = \int x^m e^{sx} f_X(x)dx \mid_{s=0} = E[X^m]$$
よって$X$の$k$次モーメントは$M_X^{(k)}(0)$で計算できる．

1.5 The Probability Generating Function

Definition 14-2

$$g_X(s) = E[s^X]$$
を$X$のprobability generating functionという．普通$s>0$である．

$X> 0$ならば$g_X(s)$とその微分係数が$s=0$で存在するので，$X$が$p_X(m), m=1, 2, ...$というPMFを持っているとき，
$$g_X(s) = \sum_{m=1}^\infty s^m p_X(m)$$
だから，
$$\frac{d^m}{ds^m} g_X(s) \mid_{s=0} = m!p_X(m)$$
である．$X >0$であれば$g_X$から容易に$p_X$が得られる

1.6 Examples

Example

$X =^d Exp(\lambda)$とすると，
$$M_X(s) = \int^\infty_0 e^{sx}\lambda e^{-\lambda x} = \begin{cases} \lambda/(\lambda - s) \ \ & s < \lambda \\ \infty & \text{otherwise} \end{cases}$$

Example

$X =^d Ge(p)$とすると,
$$M_X(s) = \sum_{m=1}^\infty e^{sm} p(1-p)^{m-1} = \begin{cases} e^sp /(1-(1-p)e^s)) \ \ \ &e^s < 1/(1-p) \\ \infty & \text{otherwise} \end{cases}$$
$$g_X(s) = \sum_{m=1}^\infty s^m p(1-p)^{m-1} = \begin{cases} \frac{sp}{1-s(1-p)} \ \ \ & s < 1/(1-p) \\ \infty & \text{otherwise} \end{cases}$$

Example

$X =^d N(0, 1)$とすると，
$$\begin{aligned} M_X(s) &= \frac{1}{\sqrt{2\pi}} \int \exp(sx)\exp(-\frac{x^2}{2} ) dx \\ &= \frac{\exp(s^2/2)}{\sqrt{2\pi}} \int \exp(-\frac{x^2 + 2sx -s^2}{2})dx \\ &=\exp(s^2/2) \ \ \ \ \ \ \ \ \ \ \ \text{ガウス関数の積分を使った} \end{aligned}$$

1.7 Properties of Moment Generating Functions

Theorem 14-2

(a) $Y = aX + b$なら$M_Y(s) = e^{sb} M_X(as)$
(b) $X, Y$が独立なら$M_{X+Y}(s) = M_X(s)M_Y(s)$
(c) $X, Y$が独立で$Z$が$X$である確率が$p$,$Y$である確率が$1-p$であるとすると
$$M_Z(s) = pM_X(s) + (1-p)M_Y(s)$$

proof.

(a) $$M_X(aX;B) = E[\exp(saX + sb)] = \exp(sb) E[\exp(saX)] = \exp(sb)M_X(as)$$
(b) $$M_{X+Y}(s) = E[\exp(sX+sY)] = E[\exp(sX)]E[\exp(sY)]=M_X(s)M_Y(s)$$
(c) $$M_Z(s) = E[e^{sz}] = pE[e^{sX}] + (1-p)E[e^{sY}]=pM_X(s) + (1-p)M_Y(s)$$

Example: (Normal random variables)

(a) $X =^d N(0,1)$で，$Y=\sigma X + \mu$とする．$Y\sim N(\mu, \sigma^2)$で，$M_Y(s)=\exp(s\mu)M_X(\sigma s) = \exp(s\mu + \frac{1}{2}s^2 \sigma^2)$
(b) $X =^d N(\mu_1, \sigma_1^2), Y =^d N(\mu_2, \sigma_2^2)$とすると
$$M_{X+Y}(s) = \exp(\{s(\mu_1 +\mu_2)+\frac{1}{2}s^2(\sigma_1^2+\sigma_2^2)\})$$
inversion propertyから$X+Y=^d N(\mu_1+\mu_2, \sigma_1^2 +\sigma_2^2)$