Gamarnik, Tsisiklis. Fundamentals of Probability 10日目 写像で作られる確率変数のpdf

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 10. Derived Distributions

random variable $X$とPDF $f_X$が与えられ,measurable $g$があるとき,$Y=g(X)$のdistribution(CDF, PDF or PMF)を知りたいことがよく有る.$X$がdiscreteならば
$$p_Y(y) = \sum_{\{x |g(x)=y\}} p_X(x)$$
でよいが、continuousな場合はより複雑になる.

1. Functions of a Single Random Variable

Calculation of the PDF of a Function Y=g(X) of a Continuous Random Variable X

(a) $$F_Y(y)=P(g(X) \leq y) = \int_{\{x | g(x) \leq y\}} f_X(x)dx$$
(b) $$f_Y(y) = \frac{dF_Y}{dy} (y)$$

Example

$Y = g(X) = X^2$とする.$X$がcontinuousであって,$f_X$をPDFとする.このとき
$$\begin{aligned} F_Y(y) &= P(Y \leq y) \\ &= P(X^2 \leq y) \\ &= P(-\sqrt{y} \leq X \leq \sqrt{y}) \\ &=F_X(\sqrt{y}) - F_X(-\sqrt{y}) \end{aligned}$$
よって
$$f_Y(y) = \frac{dF_Y}{dy}(y) = \frac{1}{2\sqrt{y}} (f_X(\sqrt{y}) + f_X(-\sqrt{y}))$$

Example

$X$は非負で$Y= \exp(X^2)$とする.
$$F_Y(y) = \begin{cases} 0 \ \ \ &(y < 1) \\ P(e^{X^2} \leq y) \ \ \ &(y \geq 1) \end{cases}$$
ここで$P(e^{X^2} \leq y) = P(X^2 \leq \log y) = P( X\leq \sqrt{\log y})$
よって$f_Y(y) = f_X(\sqrt{\log y}) / (2y \sqrt{\log y})$

1.1 The Case of Monotonic Functions

$A \subset g(\Omega)$で$g:\mathbb{R} \rightarrow \mathbb{R}$が狭義単調増加かつ微分可能なとき,$B= \{g(x)| x \in A\}$とする.$g_{|A}$は可逆で$g_{|A}^{-1}$がある.$y \in B$に,chain ruleによって
$$f_Y(y) = \frac{d}{dy} P(g(X) \leq y) = \frac{d}{dy}P(X \leq g_{|A}^{-1}(y)) = \frac{d}{dy}F_X(g_{|A}^{-1}(y))= f_X(g_{|A}^{-1}(y))\frac{dg_{|A}^{-1}(y)}{dy}$$
$$\frac{dg_{|A}^{-1}}{dy}(y) = \frac{1}{g'(g^{-1}(y))}$$
を代入して
$$f_Y(y) = f_X(g^{-1}(y))\frac{1}{g'(g_{|A}^{-1}(y))}$$
$g$が狭義単調現象の場合にもほとんど同様に
$$f_Y(y) = f_X(g^{-1}(y))-\frac{1}{g'(g_{|A}^{-1}(y))}$$
が成立して,
$$f_Y(y) = f_X(g^{-1}(y)) \frac{1}{|g'(g^{-1}(y))|}$$
である.
$$f_Y(y)|dy| = f_X(x)|dx|$$
で,$y=g(x), dy=|g'(x)|\cdot |dx|$から
$$f_Y(y)|g'(x)| = f_X(x)$$
と考えれば良い.

1.2 Linear Functions

$g(x) = ax + b$つまり$Y=aX + b$となる場合を考える.$a\neq 0$とする.このとき
$g'(x) = a, g^{-1}(y) = (y-b)/a$であって,
$$f_Y(y) = \frac{1}{|a|}f_X((y-b)/a)$$
である.

Example (A linear function of a normal random variable is normal)

$X =^d N(0, 1), Y =aX + b$とする.
$$f_Y(y) = \frac{1}{\sqrt{2\pi}|a|} \exp(-\frac{(y-b)^2}{2a^2})$$
すなわち$Y \sim N(b, a^2)$である.

2. Multivariate Transformations

$X = (X_1, ..., X_n)$というjointly continousなrandom variableのベクトルを考えて,joint PDFは$f_X(x) = f_X(x_1,... ,x_n)$とする.$g: \mathbb{R}^n \rightarrow \mathbb{R}^n$があって,$Y=(y_1,...,y_n)=g(X)$とする.$g=(g_1, ..., g_n)$とすると$Y_i = g_i(X)$である.
$g$ が　openな$A \subset \mathbb{R}^n$で連続微分可能であるとき,$B=g(A)$で$g$が可逆とする.
このｔき$g_{|B}^{-1}$が存在する.
1次元の場合とほとんど同様の議論で多次元版に拡張できる.

2.1 Linear Functions

$g$は線形で,$g=Mx$とする.$M$は$n \times n$行列である.$x \in A$を固定して$\delta > 0$とする.
$x \in A$と$\delta > 0$を固定する.$C = [x, x+\delta]^n \subset A$という超立方体を考えて$D = MC = g(C)$とする.$D$の体積は$| \det M|\cdot \delta^n$である.
$y = Mx$として,$f_X(x)$が$x$で連続なら
$$P(X\in C) = \int_C f_X(t)dt = f_X(x)\delta^n + o(\delta^n) \sim f_X(x) \delta^n$$
が成立する.したがって
$$f_X(x) \delta^n \sim P(X \in C) = P(Y \in D) \sim f_Y(y) \cdot vol(D) = f_Y(y)|\det M| \delta^n$$
である.両辺を$\delta^n$で割って,$f_X(x) = f_Y(y) \cdot |\det M|$が言える.
$M$が可逆であれば$M^{-1}$があって,さらに$\det (M^{-1}) = 1/ (\det M)$に注意すれば,
$$f_Y(y) = f_X(M^{-1}y) \cdot \frac{1}{|\det M|}$$
が成立する.$M$が非可逆なら$Y$は$S \subset \mathbb{R}$でのみ値をとり,jointly continuousでない.$S$はある$\mathbb{R}^m , m < n$に同型なので,$Y$を$\mathbb{R}^m$のjoint PDFとして書ける.

2.2 The General Case

$g$が$x$ｒで連続微分可能な場合,$M(x)$を$g$の$x$におけるJacobi行列とする.$D=g(C)$は直線で囲まれた図形ではないが,1つぎのTaylor展開によって$g$は$x$の周りで線形近似できる.$D$が体積$|\det M(x)|\cdot \delta^n + o(\delta^n)$を持つから,線形の場合と同様に
$$f_Y(y) = \frac{f_X(g^{-1}(y))}{|M(g^{-1}(y))} = f_X(g^{-1}(y)) \cdot |M^{-1}(g^{-1}(y))|$$
である.ここで$J(y)$を$g^{-1}(y)$のJacobi行列とすれば,$y=g(x)$で$J(y) = M^{-1}(x)$であって,
$$f_Y(y) = f_X(g^{-1}(y)) \cdot |J(y)|$$
である.

3. A Single Function of Multiple Random Variables

$X = (X_1, ..., X_n), g_1: \mathbb{R}^n \rightarrow \mathbb{R}$があって,random variable$Y = g_1(X)$とする.
$$F_Y(y) = P(g(X) \leq y) = \int_{\{x| g(x)\leq y\}} f_X(x)dx$$
を微分すればPDFを得られる.
もう一つの方法に,$g_2, ..., g_n: \mathbb{R}^n \rightarrow \mathbb{R}, Y_i = g_i(X)$を,$g=(g_1, ..., g_n)$が可逆であるように定義して2.2で述べた公式を用いて$Y=(Y_1, ...,Y_n)$のjoint PDFを求め,$Y_1$のPDFを積分によって求めるというのが有る.
最も単純な$Y_i, i\geq 2$の定め方は$Y_i = X_i$であって,$g(x) = (g_1(x), x_2, ..., x_n)$として,$h:\mathbb{R}^n \rightarrow \mathbb{R}$を$g^{-1}$の第一次元とする($y=g(x), x_1 = h(y)$).
このとき$g^{-1}(y)= (h(y), y_2, .., y_n)$,Jacobi 行列は
$$J(y) = \left( \begin{array}{} \frac{\partial}{\partial y_1}h(y) & \frac{\partial}{\partial y_2} h(y) &\cdots & \frac{\partial}{\partial y_n} h(y) \\ 0 & 1 &\cdots & 0 \\ \vdots \\ 0 & 0 & \cdots & 1 \end{array} \right)$$
よって$|\det J(y)| = |\frac{\partial h}{\partial y_1}(y)|$
$$f_Y(y)= \int f_X(h(y),y_2, .., y_n) \left| \frac{\partial h}{\partial y_1} (y) \right| dy_2 \cdots dy_n$$

Example

$X_1, X_2$は正でjointly continousで,$Y_1 = g(X_1, X_2) =X_1X_2$のPDFを求める.
$x_1 = y_1 / x_2$から$h(y_1, y_2) = y_1 / y_2$であって,$h_{y_1}=1/y_2$
$$f_{Y_1}(y_1) = \int f_X(y_1/y_2, y_2) \frac{1}{y_2}dy_2 = \int f_X(y_1/y_2, x_2) \frac{1}{x_2}dx_2$$
$X_1, X_2 =^d U(0, 1)$とすると
$$f_X(y_1/x_2, x_2 ) = f_{X_1}(y_1/x_2)f_{X_2}(x_2) = 1 \ \ \ (x_2 \geq y_1)$$
から
$$f_{Y_1}(y_1) = \int^1_{y_1} \frac{1}{x_2} dx_2 = -\log y$$
$$\begin{aligned} 1-F_{Y_1}(y_1) = P(X_1 X_2 \geq y_1) &= \int^1_{y_1}\int^1_{y_1/x_1} dx_2 dx_1 \\ &= \int_{y_1} (1-y_1/x_1)dx_1 \\ &= (1-y_1)+y_1\log y_1\end{aligned}$$
したがって$f_{Y_1}(y_1) = -\log y_1$

4. Maximum And Minimum of Random Variables

$X_1, ..., X_n$は独立とする.また$X^{(1)} \leq X^{(2)} \leq \cdots \leq X^{(n)}$は$\{X_i\}$のorder statisticsとする.すなわち$X^{(1)}$は$\{X_i\}$の最少, $X^{(2)}$は$\{X_i\}$の二番目に小さい要素,… である.
このoder statistics のjoint distributionと$\min X_j, \max X_j$のdistributionを求める.
$$P(\max X_j \leq x) = P(X_1, ..., X_n \leq x) = P(X_1 \leq x) \cdots P(X_n \leq x) = F_{X_1}(x) \cdots F_{X_n}(x)$$
が成立し,また
$$\begin{aligned} P(\min X_j \leq x) &= 1 - P(\min X_j > x) \\ &= 1 - P(X_1, ..., X_n) > x) \\&=1-(1-F_{X_1}(x)) \cdots (1-F_{X_n}(x)) \end{aligned}$$
である.
特に$\{X_j\}$がi.i.d.(独立だが同じdistribution)でそのCDFが$F$, PDFが$f$とするとき,
$$P(\max X_j \leq x) = F^n(x), \ \ P(\min X_j \leq x) = 1 - (1- F(x))^n$$
であって,
$$f_{\max X_j} (x) = nF^{n-1}(x) f(x) , \ \ f_{min X_j} (x) = n(1-F(x))^{n-1} f(x)$$

5. Sum of Independent Random Variables - Convolution

$X, Y$は独立なdiscrete random variableとする.$X+Y$のPMFは
$$p_{X+Y}(z) = P(X+Y=z) = \sum_{\{(z, y)|x+y=z\}}P(X=x, Y=y) = \sum_x p_X(x)p_Y(z-x)$$
である.continuousでも,jointly continousなら
$$P(X+Y\leq z) = \int_{\{x,y|x+y\leq z\}} f_{X,Y}(x, y) dxdy = \int^{\infty}_{-\infty} \int^{z-x}_{-\infty} f_{X, Y} (x, y) dydx$$
ここで$t=x+y$とすると
$$P(X+Y\leq z) = \int \int^z f_{X,Y} (x, t-x) dtdx$$
$t$で微分して
$$f_{X+Y}(z) = \int f_{X, Y}(z-x)dx$$
特に$X, Y$が独立なら
$$f_{X+Y}(z) = \int^\infty_{-\infty} f_X(x) f_Y(z-x)dx$$
である.