MIT OCW, Fundamentals of Probability 16日目 特性関数

Lecture 16. Characteristic Functions

1. Equivalence of the Tree Definitions of the Multivariate Normal Distribution

• Lecture 16. Characteristic Functions
  • 1. Equivalence of the Tree Definitions of the Multivariate Normal Distribution
    • 1.1 The definitions
      • Definition 16-1
      • Definition 16-2
      • Definition 16-3
  • 2. Proof of Equivalence
    • • Theorem 15-1(再掲)
      • Theorem 16-1
  • 3. Whitening of a Sequence of Normal Random Variables
  • 4. Introduction to Characteristic Functions
    • • Theorem 16-2

1.1 The definitions

Lec.15の定義を再掲する.

Definition 16-1

$\mathbf{X}$がnondegenerate (multivariate) normal distributionをもつ
$\Leftrightarrow$
$$f_X(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n |det V|}} \exp\left[-\frac{\mathbf{x}-\mu) V^{-1} (\mathbf{x}-\mu)^T}{2} \right]$$
と,joint PDFが書ける.ここで$\mu$は実ベクトルで,$V$はpositive definateである.

Definition 16-2

$\mathbf{X}$が(multivariate) normal distributionをもつ
$\Leftrightarrow$
$$\mathbf{X} = D\mathbf{W} + \mu$$
と,行列$D$と実ベクトル$\mu$,各要素が$N(0, 1)$に従う確率ベクトル$\mathbf{W}$で書ける.

Definition 16-3

$\mathbf{X}$が(multivariate) normal distributionをもつ
$\Leftrightarrow$ 任意の実ベクトル$\mathbf{a}$について,$\mathbf{a}^T \mathbf{X}$がnormalである.

これらの定義が同値であることを証明する.

2. Proof of Equivalence

Lec.15で, def 16-2であればdef 16-3が成立することを学んだ.

Theorem 15-1(再掲)

def 16-2の意味で$\mathbf{X} = (X_1, ..., X_n)$がmultivariate normalで,$\mu = (\mu_1, ...,\mu_n)$とすると
(d) $|D| \neq 0$であるとき,$V= DD^T = cov(X, X)$によってdef 16-1の意味でもnondegenerate multivariate normalである.

proof.

$\mu = 0$と仮定する. $X = DW$で$D^{-1}$が存在するとき,Lec.10 2-1から
$$f_X(x) = \frac{f_W(D^{-1}w)}{|\det D|}$$
と書ける.$W_i \sim N(0, 1)$でi.i.d.だから
$$f_W(\mathbb{w}) = \frac{1}{\sqrt{(2\pi)^n}}\exp \left[-\frac{1}{2} \mathbf{w^Tw} \right]$$
で,したがって
$$f_X(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n |\det DD^T|}}\exp(-\frac{1}{2}(D^{-1})^TD^{-1}\mathbf{x})$$

そこで,

Theorem 16-1

(a) $\mathbf{X}$がdef 16-1を満たすとき, def 16-2も満たす
(b) $\mathbf{X}$がdef 16-3を満たすとき, def 16-2も満たす と示せば良い

proof.

(a)
仮定のもとで,$V$はpositive definateなので,$D^2 = V$となるsymmetricな$D$があって(Spectral Decomposition), $(\det D)^2 = \det(D^2) = \det(V) >0$から, $D$は可逆. $\mathbf{W} = D^{-1} (\mathbf{X}-\mu)$とすると,$E[\mathbf{W}]=0$で,さらに
$$\begin{aligned} cov(W, W) &= E[D^{-1}(\mathbf{X}-\mu)(\mathbf{X}-\mu)^TD^{-1}] \\ &= D^{-1}E[(\mathbf{X}-\mu)(\mathbf{X}-\mu)^T]D^{-1} \\ &=D^{-1}VD^{-1} = I \end{aligned}$$
したがって$W_i$たちはdef 16-1の意味でnormalでかつcovariance matrixが単位行列だからindependentである.
(b)
仮定のもとで,$V=cov(\mathbf{X}, \mathbf{X})$として,これは対称行列だから

3. Whitening of a Sequence of Normal Random Variables

$\mathbf{X}$がmultivariate normal vectorとして,基底変換によって$\mathbf{W} = (W_1, ..., W_n)$をつくるとき,様々な作り方が考えられるが,
$$\begin{aligned} W_1 &= X_1 \\ W_2 &= X_2 - E[X_2|X_1] \\ W_3 &=X_3 - E[X_3|X_1, X_2] \\ \vdots \\ W_n &= X_n - E[X_n | X_1, ..., X_{n-1}] \end{aligned}$$
とすることが出来る.ただし
(a) $W_i$はそれぞれ, $(X_1, ..., X_{i-1})$をもとに$X_i$から得られる新しい情報と考えることができる.$W_i$たちをinnovationsという.
(b) conditional expectationは線形写像だから,$W_i$は$X_i$の線形写像と考えることが出来る. 下三角行列$L$を使って$\mathbf{W} = L \mathbf{X}$と書ける.これは$W_i$が$X_1, ..., X_{i}$によって決定されるということであって,これを$\mathbf{X}$から$\mathbf{W}$への変換はcausalであるという.また,$L^{-1}$もまた下三角行列だから,causally invertibleという.この関係をwhitening filterと呼ぶことが有る.
(c) $W_i$たちはそれぞれ独立で,これは$E[(X-E[X|Y)])Y] = 0$から言える. またここから$W_i$と$X_1, ..., X_{i-1}$はuncorrelatedであることが言えて,さらに$W_1, ...,W_{i-1}$ともuncorrrelated.normalだからuncorrelated => independent. varianceが0でなければ,varianceが1となるように出来る.
(d) $W$のcovariance matrix $B$は対角行列で,$cov(X, X) = L^{-1}B(L^{-1})^T$. $B$を$(L^{-1}B^{1/2}) (B^{1/2} (L^{-1})^T)$と,下三角行列と上三角行列に分解することをCholesky factorizationという.

4. Introduction to Characteristic Functions

moment generating function $M_X(s)$をすでに定義したが,$s\neq 0 \Rightarrow M_X(s) = \infty$のような場合には意味を持たない(Cauchy distributionを思い出せ). そこで$s$を複素数$s=it, i=\sqrt{-1}, t \in \mathbb{R}$と考えて,
$$\phi_X(t) = E[e^{itX}]$$
と定める. $X$がPDF $f$をもつcontinuous random variableとすると,
$$\phi_X(t) = \int e^{itx} f(x) dx$$
が成立する.$e^{itX}$はcomplex-value random variableであるが,三角関数での表示を思い出せば
$$\phi_X(t) = E[\cos(tX)] + iE[\sin(tX)]$$
として計算できる.さらに
(a) $|e^{itX}| \leq 1$が任意の$t$に成立するから,$\phi_X(t)$は必ず定義されて,しかも$|\phi_X(t)|\leq 1$である.
(b) moment generating fucntionの主要な性質はcharacteristic functionと共通する.

Theorem 16-2

(a) $Y = aX + b$とすると,$\phi_Y(t) = e^{itb}\phi_X(at)$
(b) $X, Y$がindependentなら$\phi_{X+Y}(t) = \phi_X(t)\phi_Y(t)$
(c) $X, Y$がindependentで,$Z$が確率$p$で$X$に等しく,確率$1-p$で$Y$に等しいとき,
$$\phi_Z(t) = p\phi_X(t) + (1-p)\phi_Y(t)$$

(c) Inversion theorem 同じcharacteristic functionをもつrandom variableがあるとき,分布も同じ
(d) $\mathbf{X}$がmultivariateなとき$\phi_{\mathbf{X}}(\mathbf{t}) = E[e^{i\mathbf{t}^T \mathbf{X}}]$でcharacteristic functionを定めて,(c)はこれでも成立
(e) $X$がcontinuous でPDFが$f_X$とすると,
$$f_X(x) = \frac{1}{2\pi} \lim_{T \rightarrow \infty} \int^T_{-T} e^{-itx}\phi_X(t)dt$$
が$_X$が微分可能な点$x$で成立する.
(f) dominated convergence theoremを,定数関数1に支配される複素数の実部と仮部にそれぞれ使って,
$X_n \rightarrow X a.s.$がなら,任意の$t \in \mathbb{R}$に
$$\lim \phi_{X_n} (t) = \lim E[e^{itX_n}] = E [\lim e^{itX_n}] = E[e^{itX}]=\lim \phi_X(t)$$
(g) $E[|X|^k] < \infty$ならば
$$\frac{d^k}{dt^k} \phi_X(t) |_{t=0} = i^k E[X^k]$$

MIT OCW, Fundamentals of Probability 15日目 モーメント母関数2

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.
[TOC]

Lecture 14. Moment Generating Functions

2. Sum of a Random Number of Independent Random Variables

$X_1, X_2, ...$をi.i.d. なrandom variableの列とする.meanは$\mu$, varianceは$\sigma^2$とする.$N$を非負整数をとる別のrandom variableとする. $Y = \sum_{I=1}^N X_i$とし,$Y$の様々な統計量を考える.
まず
$$E[Y] = E[E[Y|N]] = E[N\mu] = E[N]E[X]$$
さらに, law of total varianceによって
$$\begin{aligned} var[Y] &= E[var(Y|N)] + var(E[Y|N]) \\ &= E[N\sigma^2] + var(N\mu) \\ &= E[N]\sigma^2 + \mu^2 var(N) \end{aligned}$$
また$E[\exp(sY) | N=n] = M^n_X(s) =\exp(n\log M_X(s))$だから,
$$M_Y(s) = \sum \exp(n\log M_X(s)) P(N=n) = M_N(\log M_X(s))$$

Example

$X_i$はexp($\lambda$)に従う独立なrandom variableとする.また$N \sim geo(p)$とすると
$$M_Y(s) = \frac{e^{\log M_X(s)}p}{1-e^{\log M_X(s)}(1-p)} = \frac{p\lambda/(\lambda-s)}{1-\lambda(1-p)/(\lambda-s)} = \frac{\lambda p}{\lambda p - s}$$
$\because M_N(s) = \sum_{n} p(1-p)^{n-1} e^{sn}$
このように,$Y_M(s)$はパラメータ$\lambda p$のexponential random variableのmoment generating functionと一致する.
cf.

$X \sim exp(\lambda)$とすると,
$M_X(s) = \int^{\infty}_0 e^{sx} \lambda e^{-\lambda x} = \lambda \int^{\infty}_0 e^{x(s-\lambda)} = \lambda[\frac{1}{s-\lambda} e^{x(s-\lambda)}]^\infty_0 = \frac{\lambda}{\lambda - s}$

inversion theoremから$Y \sim exp(\lambda p)$.exponential random variableの有限和はexponential出ないことを考えると驚くべき結果である. 後にPoisson processの視点から直感的な説明を与える.

3. Transfroms Associated wtih Joint Distributions

$X, Y$にjoint distribution(joint PDF)があるとき,$M_X(s)$と$M_Y(s)$が導ける.これはmarginal distribution の変換で，もう一方のrandom variableとの関係性を保存しない. $X, Y$の関係を保存する変換を述べる. $X_1, ..., X_n$について,$s_1, ..., s_n$を実数のパラメータとすると,associated multivariate transformを$n$変数関数
$$M_{X_1, ..., X_n}(s_1, ..., s_n) = E[e^{s_1X_1 + ... +s_nX_n)}]$$
と定める.