MIT OCW, Discrete Stochastic Processes 03日目

Robert Gallager. 6.262 Discrete Stochastic Processes. Spring 2011. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Assignment Problem set 2.
問
解答

Exercise 1.10

答案.

$X,Y$はただの実数確率変数とする(拡大実数確率変数ならあきらかに命題は成り立たない)
$\{\omega|Z(\omega)=\pm \infty\} \subset \{\omega| X(\omega)=\pm \infty\} \cup \{\omega| Y(\omega)=\pm \infty\}$である.
($X(\omega)=\infty, Y(\omega)=-\infty$)のような場合が有るから,一般には等号ではない)
また,$X, Y$はreal r.v.だから,$Pr(X=\pm \infty)=Pr(Y=\pm \infty)=0$.
$Pr(Z=\pm \infty) \leq Pr(X=\pm \infty \lor Y=\pm \infty) \leq Pr(X=\pm \infty) + Pr(Y=\pm \infty) \leq 0$
よって示せた.

Exercise 1.17

答案.

(a) $$\begin{aligned}E[Y] &= \int^\infty_1 \frac{2}{(y+1)(y+2)}dx(y=floor(x)) = \sum_{y\geq 0} \frac{2}{(y+1)(y+2)} \\ &= 2 \sum_{y\geq 0} \left(\frac{1}{y+1} -\frac{1}{y+2} \right) = 2 \end{aligned}$$
(b) $p_Y(y) = F_Y(y)-F_Y(y-1)=2\left(\frac{1}{y(y+1)}-\frac{1}{(y+1)(y+2)}\right)=\frac{4}{y(y+1)(y+2)}$
さらに$\sum_{y\geq 1} y p_Y(y)= \sum 4/(y+1)(y+2) = 4 \sum (1/(y+1) - 1/(y+2)) = 2$
(c) $$E[X|Y=y] = \sum_{1\leq x \leq y} x/y = \frac{1}{y}\sum_{1\leq x\leq y}x=\frac{1}{y} \frac{1}{2}y(y+1)=\frac{y+1}{2}$$
$E[E[X|Y]y(Y)]=E[Xg(Y)]$の公式で$g=1$とすれば
$$E[X]= E[\frac{y+1}{2}]=\frac{3}{2}$$
がたしかに成立.
さらに,$p_X(x) = \sum_{y=1}^\infty p_{X|Y}(x|y)p_Y(y)=\sum_{y\geq x} \frac{4}{y^2(y+1)(y+2)}$
$\sum xp_X(x)$の計算が非常に面倒なのはもはや明らかだろう.
(d)
$$E[Z|Y=y] = \sum_{1\leq z \leq y^2} \frac{z}{y^2} =\frac{1}{y^2} \sum_{1\leq z\leq y^2} z = \frac{1}{y^2}\frac{1}{2}y^2(y^2+1)=\frac{y^2+1}{2}$$
さらに$E[Z] = 1/2+ E[y^2]/2$
ここで$E[Y^2]=\sum_y y^2 p_Y(y) = 4\sum y^2/(y(y+1)(y+2))\geq 4\sum 1/(y+2) \rightarrow \infty$
したがって$E[Y^2]=\infty$ゆえに$E[Z]=\infty$.

Exercise 1.31

答案.

(a) $x \leq 0, r \geq 0$で$|e^{rx}|\leq 1$
ゆえに$r \geq 0$で$\int^0_{-\infty} e^{rx}dF(x) \leq \int^0_{-\infty} dF(x) \leq 1$
2つめの広義積分も同様.
(b) $0\leq r \leq r_1$ならば$0\leq e^{rx} \leq e^{r_1x}$が全ての$x$に成立するから
$0 \leq \int e^{rx}dF(x) \leq \int^\infty_0 e^{r_1x} dF(x)$である.
(c) (b)と同様.
(d) $r=0$で$g_X(r)$は存在する.また$r_1>0$において右の項が存在するとき(a)から左の項も存在し,$g_X(r_1)$は定義されて, $0\leq r\leq r_1$で$g_X(r)$は定義されている.$r_1< 0$でも同様である.
(e) (模範解答)
$f_X(x)=e^{-x}$とすると,$g_X(1)=\infty$.
$f_X(x)=(ax^{-2})e^{-x}, x\geq 1$とすると$g_X(1)<\infty$.

Exercise 1.33

答案.

CLTを使う.
$$Pr(\frac{S_n-nE[X]}{\sqrt{n}\sigma} \leq y) = \int^y_{-\infty} \frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2}{2})dx$$
それぞれの小問で求める極限を$I$とする. $E[X]=\delta, \sigma=\sqrt{\delta(1-\delta)}$に注意する.
(a) $$\begin{aligned}I &= \lim_nPr(n\delta-m \leq S_n \leq n\delta + m) \\ &=\lim_n Pr(-\frac{m}{\sqrt{n}\delta} \leq \frac{S_n-n\bar{X}}{\sqrt{n}\sigma} \leq \frac{m}{\sqrt{n}\sigma}) \\ &=\lim_n \int^{\frac{m}{\sqrt{n}\sigma}}_{-\frac{m}{\sqrt{n}\sigma}} \frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2}{2})dx \\&=0 \end{aligned}$$
(b) $$\begin{aligned}I &= \lim_nPr(0 \leq S_n \leq n\delta + m) \\ &=\lim_n Pr(-\frac{n\delta}{\sqrt{n}\delta} \leq \frac{S_n-n\bar{X}}{\sqrt{n}\sigma} \leq \frac{m}{\sqrt{n}\sigma}) \\ &=\lim_n \int^{\frac{m}{\sqrt{n}\sigma}}_{-{\sqrt{n}}} \frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2}{2})dx \\&=1/2 \end{aligned}$$
(c) $$\begin{aligned}I &= \lim_nPr(n\delta-n/m \leq S_n \leq n\delta + n/m) \\ &=\lim_n Pr(-\frac{n}{m}\frac{1}{\sqrt{n}\sigma} \leq \frac{S_n-n\bar{X}}{\sqrt{n}\sigma} \leq \frac{n}{m}\frac{1}{\sqrt{n}\sigma}) \\ &=\lim_n Pr(-\frac{\sqrt{n}}{m\sigma} \leq \frac{S_n-n\bar{X}}{\sqrt{n}\sigma} \leq \frac{\sqrt{n}}{m\sigma})\\ &=\lim_n \int^{\frac{\sqrt{n}}{m\sigma}}_{-\frac{\sqrt{n}}{m\sigma}} \frac{1}{\sqrt{2\pi}}\exp(-\frac{x^2}{2})dx \\&=1 \end{aligned}$$

Exercise 1.38

答案.

$$\begin{aligned}\frac{S_n}{\sqrt{n}\sigma} - \frac{S_{2n}}{\sqrt{2n}\sigma}&=\frac{\sqrt{2}S_n -S_{2n}}{\sigma\sqrt{2n}} \\ &=\frac{\sqrt{2}-1}{\sqrt{2}}\frac{S_n}{\sqrt{n}\sigma}-\frac{1}{\sqrt{2}}\frac{\sum_{i=n+1}^{2n} X_i}{\sqrt{n}\sigma} \end{aligned}$$
IIDだから$T_n=\sum_{i=n+1}^{2n}X_i$とするとCLTによって左の項は$N(0, \frac{3-2\sqrt{2}}{2})$,右の項は$N(0,\frac{1}{2})$に収束する.よってその差は$N(0,2-\sqrt{2})$に収束する.

Exercise 1.42

(a) $E[X]= (-1+1)\cdot (1-10^{-10})/2 +10^{12} * 10^{-10}=100$
$var[X] = E[X^2]-E[X]^2 = 10^{14}-2\cdot 10^{-10}+10^4$
$E[S_n]=nE[X]=100n$
$var[S_n]=n E[X] =n [10^{14}-2\cdot10^{-10}+10^4] \sim n10^{14}$
(b) $10^{12}$が$10^6$回出ないということであって,求める確率は$(1-10^{-10})^{10^6}$
(c) union bound: $Pr(\cup A_n) \leq \sum Pr(A_n)$
$1-F_{S_n}(10^6) = Pr(S_n > 10^6) = Pr(\cup_{m>10^6} S_n=m) \leq \sum_{m>10^6}Pr(S_n=m)$
$Pr(S_n=m)\leq 10^{-10}$が必ず成立するから,
$1-F_{S_n}(10^6) \leq 10^6 \cdot 10^{-10}=10^{-4)}$