MIT OCW, Fundamentals of Probability 13日目 多次元の正規分布1

• Lecture 14. MOMENT GENRATING FUNCTIONS
• Lecture 15. MULTIVARIATE NORMAL DISTRIBUTIONS
  • 1. Background On Positive Definate Matrices
    • • Definition 15-1
  • 2. DEFINITION OF THE MULTIVARIATE NORMAL DISTRIBUTION
    • • Definition 15-2
      • Definition 15-3
      • Definition 15-4
  • 3. MEANS AND COVARIANCES OF VECTOR RANDOM VARIABLES
    • • Definition 15-5
  • 4. KEY PROPERTIES OF THE MULTIVARIATE NORMAL
    • • Theorem 15-1 (証明略)

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 14. MOMENT GENRATING FUNCTIONS

モーメント母関数.Laplace変換とか出てきたから飛ばす．そのうちやりたい(願望)

Lecture 15. MULTIVARIATE NORMAL DISTRIBUTIONS

1. Background On Positive Definate Matrices

Definition 15-1

$A$は$n \times n$の正方行列とする.
(a) $A$がpositive definate(正定値) である$\Leftrightarrow \forall x \in \mathbb{R}^n \ \ x^TAx > 0$
このとき$A>0$と書く.
(b) $A$がnonnegative definate(半正定値) である$\Leftrightarrow \forall \in \mathbb{R}^n \ \ x^TAx \geq 0$
このとき$A \geq 0$と書く.

以下の事実は有名である.

(a) symmetric matrixは$n$個の実eigenvalueを持つ.
(b) positive definate ならeigenvalueは$n$個存在し全て正.
(c) nonnegative definateならeigenvalueは$n$個存在し全て非負
(d) symmetri matrixの全てのeigenvalueにはそれぞれ実eigenvectorがあって,異なったeigenvalueに対応するeigenvectorは直行し,複数eigenvalueが重複しているときその重複度の分直行するeigenvectorがある.
(e) 以上から,symmetric definateなら基底変換によって対角化出来る.

上の事実から, spectral decomposition(スペクトル分解) が得られる.すなわち

任意の対称行列$A$は,$\lambda_1, ..., \lambda_n$を$A$のeigenvalue, $\mathbf{z}_1, ..., \mathbf{z}_n$をそれぞれのeigenvalueに対応するeigenvectorとすると,
$$A = \sum_{i=1}^n \lambda_i \mathbf{z}_i \mathbf{z_i}^T$$
と書ける.

また,nonnegative definite matrixであるなら$\lambda_i \geq 0$だから平方根が実数で,
$$B = \sum_{i=1}^n \sqrt{\lambda_i} \mathbf{z_i}\mathbf{z_i}^T$$
が定義できる.このとき

(a) $B$はsymmetric
(b) $B^2 = A$である.$B$を$A$のsymmetric square rootという.
(c) $B$のeigenvalueたちは$\{\sqrt{\lambda_i}\}$である.よって,$B$がpositive(nonnegative) definite $\Leftrightarrow$ $A$がpositive(nonnegative) definite.

特に$A$がpositive definiteならば$\lambda_i > 0$で,
$$C= \sum_{i=1}^n \frac{1}{\lambda_i} \mathbf{z_i} \mathbf{z_i}^T$$
が定義できて, $CA=AC=I$ゆえ, $C=A^{-1}$である.

2. DEFINITION OF THE MULTIVARIATE NORMAL DISTRIBUTION

全ての要素がrandom variableであるベクトルをrandom vectorと呼び.全ての要素がrandom variableである行列をrandom matrixと呼ぶ.
multivariate normal distributionの表現方法３つを取り上げ,それらの同値性を確かめる．最初に，最もわかりやすいがいろいろな操作が面倒な表現を与える.

Definition 15-2

random vector $\mathbf{X}$がnondegenerate (multivariate) normal distributionをもつ
$\Leftrightarrow$ joint PDF が,あるベクトル$\mu$とpositive definite $V$で
$$f_X(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n |\det V|}} \exp \left[- \frac{(\mathbf{x} - \mu) V^{-1} (\mathbf{x} - \mu)^T}{2} \right]$$
と書ける．

さらに,操作が簡単な生成的な定義を与える.

Definition 15-3

random vector $\mathbf{X}$が (multivariate) normal distributionをもつ
$\Leftrightarrow$ あるmatrix $D$とベクトル$\mu$, そして要素が$N(0, 1)$に独立に従うランダムなベクトル$\mathbf{W}$によって,
$$\mathbf{X} = D\mathbf{W} + \mu$$
と書ける.

最後に与える定義は最も難しいが,最も美しいと言う人もいる.

Definition 15-4

random vectro $\mathbf{X}$が(multivariate) normal distributionをもつ
$\Leftrightarrow$ 任意のベクトル$\mathbf{a}$にrandom variable $\mathbf{a}^T \mathbf{X}$がnormal.

Definition 15-2でnondegenerateという語を使ったが，これは$f_X(\mathbf{x}) >$という意味である.$\mathbf{X} = (X_1, X_2), X_1 \sim N(0, 1), X_2=0$はNormalだが,これはDef. 15-2の方法では表現できないので,nondegenerateという制限を加えている.

3. MEANS AND COVARIANCES OF VECTOR RANDOM VARIABLES

Definition 15-5

random vector $\mathbf{X} = (X_1, ..., X_N)$のexpectationを
$$E[\mathbf{X}] = (E[X_1], ..., E[X_n])$$
とする．同様にrandom matrix $A= A_{ij}$についてもexpectationを
$$(E[A])_{i j} = E[A_{i j}]$$
とする.

random vector $\mathbf{X} = (X_1, ..., X_n), \mathbf{Y} = (Y_1, ..., Y_m)$があるとき,covariance matrix(分散行列, 分散共分散行列)を,
$$Cov(\mathbf{X}, \mathbf{Y}) = E \left[(X-E[X])(Y-E[Y])^T \right]$$
と定める.$Cov(X, Y)$の$i j$成分は$Cov(X_i, Y_j)$である.

4. KEY PROPERTIES OF THE MULTIVARIATE NORMAL

Theorem 15-1 (証明略)

$\mathbf{X} = (X_1,...,X_n)$がmultivariate normalであるとする.$\mu_i$は第$i$要素の平均と考えることが出来る.このとき
(a) $X_i$はnormalで,平均は$\mu_i$
(b) $Cov(\mathbf{X}, \mathbf{X}) = DD^T$
(c) $C$が$m \times n$行列で,$\mathbf{d} \in \mathbb{R}^m$とする.$Y = C\mathbf{X} + d$はdef. 3の意味でmultivariate normalであって,平均は$C\mu + \mathbf{d}$, covariance matrixは$CDD^TC^T$である.
(d) $|D| \neq 0$なら$\mathbf{X}$はnondegenerate multivariate normalであって,$V = DD^T = cov(X, X)$である.
(e) $\mathbf{X}$のjoint PDF $F_X$は$\mathbf{X}$の平均とcovarianceだけで決まる
(f) $\mathbf{X}$のそれぞれの要素がuncorrelatedすなわち$cov(X, X)$が対角行列$\Leftrightarrow$それぞれが独立
(g) $$\left[\begin{array}{} \mathbf{X} \\ \mathbf{Y}\end{array} \right] \sim N \left( \left[\begin{array}{} \mu_X \\ \mu_Y \end{array}\right] , \left[ \begin{array}{} V_{XX} & V_{XY} \\ V_{YX} & V_{YY} \end{array} \right]\right)$$
かつ $V_YY > 0$ならば

(i) $$E[\mathbf{X} | \mathbf{Y}] = \mu_X + V_{XY} V_{YY}^{-1} (\mathbf{Y}-\mu_Y)$$
(ii) $\tilde{\mathbf{X}} = \mathbf{X} - E[\mathbf{X}|\mathbf{}]$とすると,$\tilde{\mathbf{X}}$は$\mathbf{Y}$と独立で，また$E[X|Y]$と独立.
(iii) $cov(\tilde{\mathbf{X}}, \tilde{\mathbf{X}}|\mathbf{Y}) = cov(\tilde{\mathbf{X}}, \tilde{\mathbf{X}}) = V_{XX} - V_{XY}V_{YY}^{-1}V_{YX}$