MIT OCW, Fundamentals of Probability 11日目 Lebesuge積分と収束定理

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

• • Lecture 11 Abstract Integration -I
    • 1. Preliminaries
      • Special cases:
      • The Program:
    • 2. The Main Result
      • Theorem 11-1
    • The Riemann Integral
      • Example
    • 4.The Integral of a Nonnegative Simple Function
      • Definition 11-2
      • Definition 11-3
    • 4.2 Proof of the Monotone Convergence Theorem
    • 5. The Integral of a Nonnegative Function
      • Definition 11-4
  • Lecture 12 Abstract Integration -II
    • 1. Borel-Cantelli Revisited
    • 2. Connections between Abstract Integration and Elementary Definitions of Integrals and Expectations
    • 2.2 Evaluating Expectations by Integrating on Different Spaces
      • Theorem 12-1
    • 2.3 The Case of Continuos Random Variables, Described by PDFs
      • Theorem 12-2
    • Fatou’s Lemma
      • Theorem 12-3
    • 4. Dominated Convergence Theorem(DCT, 優収束定理)
      • Theorem 4. (DCT)
      • Corollary 12-1

Lecture 11 Abstract Integration -I

Lebesgue 積分について論じる.

1. Preliminaries

measure space $(\Omega, \mathcal{F}, \mu)$と$g: \Omega \rightarrow \overline{\mathbb{R}}$について,$\int g d\mu$を定義する.$\int g d\mu$を$g$の($\Omega$での)Lebesgue integralというが,これを$\int g$とか$\int g(\omega) d \mu(\omega)$と書くことも有る.

Special cases:

(a) $(\Omega, \mathcal{F}, P)$がprobability spaceで$X: \Omega \rightarrow \overline{\mathbb{R}}$がmeasurableなら, $\int X dP = E[X]$
(b) $(\mathbb{R}, \mathcal{B}, \lambda)$において,$\mathcal{B}$がBorel sets, $\lambda$がBorel measureとするとき,$\int g d\lambda$を$\int g(x)dx$と書くことが有る.これはRiemann積分の一般化である.

The Program:

$\int g d\mu$を以下の段階に沿って定義する.

(a) $g$が非負で値域が有限集合な関数(simple function, 単函数)について,単に重み付きの和として積分を定める.
(b) 非負な$g$を,simple functionによって下から近似して,その極限で積分を定める.
(c) 一般の$g$について,$g = g_+ - g_-$と正部と負部にわけてそれぞれ積分し,$\int g d\mu = \int g_+ d\mu - \int g_- d\mu$とする.

$\Omega$上の積分についてのみ論じるが,ある$B \in \mathcal{F}$における積分は単に
$$\int_B g d\mu = \int (1_B g) d\mu$$
とすればよい.ただし$1_B g(\omega) = \begin{cases} g(\omega) \ \ \ & \omega \in B \\ 0 & otherwise \end{cases}$とする.
以後,ある性質$P$について,$\mu(\{\omega| P(\omega) = False\}) = 0$であるとき,”Pはa.e. (almost everywhere, ほとんどいたる所) に成立する”という.特に$\mu$がprobability measureであるとき,a.s. (almost surely, ほとんど確かに)と呼ぶ.例えば$X \neq Y a.s.$とは,$P(X=Y) = P(\{\omega| X(\omega) \neq Y(\omega)\})=0$と同値である.
同様に,函数$g, h$に$g\leq h$とは$\forall \omega g(\omega) \leq h(\omega)$のことだが,$g \leq h \ a.e.$とは,$\mu(\{\omega| g(\omega) > h(\omega)\}) = 0$ということである.また”$g_n \uparrow g$”によって,任意の$\omega$に$g_n(\omega)$が広義単調増加数列で,$g$に収束することを示し,$g_n \uparrow g \ \ a.e.$は$g_n(\omega)$がほとんどすべての点で$g(\omega)$に広義単調増加収束するということである.

2. The Main Result

The Programで挙げた(a), (b), (c)で,(c)において$g_+ d\mu = g_- d\mu=\infty$である場合以外,かならず積分値が$\overline{\mathbb{R}}$の元に確定する.以下は重要な定理であるが,証明は略す.左に一般のmeasureに成立する命題を,右に特に確率論の記法で書いたその命題を記す.

Theorem 11-1

$$\begin{aligned} &1. \int 1_B d\mu = \mu(B) \ \ \ \ \ & E[1_B] = P(B) \\ &2. g \geq 0 \Rightarrow \int g d\mu \geq 0 & X \geq 0 \Rightarrow E[X] \geq 0 \\ &3. g= 0 a.e. \Rightarrow \int g d\mu = 0 & X = 0 a.s. \Rightarrow E[X]=0 \\ &4. g \leq h \Rightarrow \int g \leq \int h & X \leq Y \Rightarrow E[X] \leq E[Y] \\ &4' g \leq h, a.e. \Rightarrow \int g \leq \int h & X \leq Y a.s. \Rightarrow E[X] \leq E[Y] \\ &5. g= h, a.e. \Rightarrow \int g = \int h & X=Y, a.s. \Rightarrow E[X]=E[Y] \\ &6.[g\geq 0, a.e. and \int g =0] \Rightarrow g = 0, a.e. & [X \geq 0, a.s. and E[X] \geq 0] \Rightarrow X =0, a.s. \\ &7. \int(g+h) = \int g + \int h & E[X+Y] = E[X]+ E[Y] \\ &8. \int(ag) &= a \int g \\ &9.\ \ 0\leq g_n\uparrow g \Rightarrow \int g_d \uparrow \int g & 0 \leq X_n \uparrow X \Rightarrow E[X_n] \uparrow E[X] \\ &9'\ \ 0 \leq g_n \uparrow g, \ a.e. \Rightarrow \int g_n \uparrow \int g & 0 \leq X_n \uparrow X, a.s. \Rightarrow E[X_n] \uparrow E[X] \\ &10. g\geq 0 \Rightarrow \nu(B)=\int_B g \text{ is a measure} & [f \geq 0, \int f = 1]\Rightarrow \nu(B)=\int_B \text{ is a probability measure} \end{aligned}$$

9, 9’をMonotone Convergence Theorem(MCT, 単調収束定理)という.これにのみあとで証明を与える.

The Riemann Integral

Riemann積分の定義はすでにやった.http://37ma5ras.blogspot.jp/2017/06/basic-analysis-jiri-lebl-16.html.
Riemann積分はほとんど至るところ連続な函数でしか定義できない.Lebesgue積分はこの問題を解決する.

Example

$Q = [0, 1] \cap \mathbb{Q}$とする.$g = 1_{Q}$とする.$[0, 1]$の任意の分割$P = (0=x_1<x_2<\cdots<x_n=1)$を考える.$[x_i, x_{i+1})$は必ず有理数と無理数を含むから,Darboux和は$L(P, g)=0, U(P, g)=1$が必ず成立.よっていかなる分割にもDarboux上下和は一致せず,Riemann積分不能.一方$[0, 1]$上のuniform distributionとrandom variable $1_Q$を考えると,$P(1_Q = 1) = 0 (\because |Q|=|\mathbb{N}|)$で,$E[X] = \int_{[0, 1]}1_Q(x)dx = 0$.

4.The Integral of a Nonnegative Simple Function

Definition 11-2

$g: \Omega \rightarrow \mathbb{R}$がsimple function(単函数)$\Leftrightarrow g\text{はmeasurableで}|g(\Omega)| < |\mathbb{N}|$

このとき$g$は
$$g(\omega) = \sum_{i=1}^k a_i 1_{A_i}(\omega), \ \ \ a_i \in \mathbb{R}, \ A_i \in \mathcal{F}$$
と書ける.このような表現はいくらでも作れるが,$\{a_i\}$がすべて異なった値で,$\{A_i\}$が互いに素である表現は唯一つで,このような表現をcanonicalという.canonical表現では$\{a_i\} = g(\Omega), A_i=\{\omega|g(\omega)=a_i)$である.

Definition 11-3

$g$がsimple functionであって上の様に表現するとき,その積分を
$$\int g d\mu := \sum_{i=1}^k a_i \mu(A_i)$$
と定める.

$\mu$がprobability measure $P$であるとすると,simple function $X: \Omega \rightarrow \mathbb{R}$をsimple random variableとよび,その積分$\int X dP$は$E[X]$と書かれ,
$$E[X] = \sum_{i=1}^k a_i P(A_i)$$
である.仮に$\{a_i\}$の元がそれぞれ異なるとき,つまりcanonicalであるとき
$$E[X] = \sum_{i=1}^k a_i P(X=a_i)$$
が成立する.

4.2 Proof of the Monotone Convergence Theorem

property 9の,probability measureの場合をsimple functionに示す.
$q = \sum_{i=1}^k a_i 1_{A_i}, a_i >0$と表現したsimple function $q$を考える.
$\{g_n\}$を$g_n \uparrow q$なるnonnegative measurable functionの列とする.$\int q$が無限である場合と有限である場合に場合分けする.

(i) $\int q =\infty$であるとき,ある$i$に$\mu(A_i)=\infty$ということである.この$i$について
$$B_n = \{\omega \in A_i | g_n(\omega) > a_i / 2\}$$
という集合列を考える.$B_n \uparrow A_i$であって,measureの連続性から$\mu(B_n) \uparrow \infty$.また$g_n \geq (a_i/2)1_{B_n}$である.Theorem 11-1-4から
$$\int g_n d\mu \geq \int (a_i/2) 1_{B_n} d\mu = \frac{a_i}{2} \mu(B_n) \uparrow \infty$$
よって$\int g_n \uparrow \infty$

(ii) $\int q < \infty$とする.常に$\mu(A_i) < \infty$であって,$A=\sum_{i=1}^k A_i$とする.finite additivityから$\mu(A) < \infty$である.$1/ r < a$なる整数$r$を固定する.
$$B_n = \{\omega \in A| g_n(\omega) \geq q(\omega) - (1/r)\}$$
とすると$B_n \uparrow A$で,連続性から$\mu(B_n) \uparrow \mu (A) = \mu(B_n) + \mu(A \backslash B_n) < \infty$から$\mu(A\backslash B_n) \downarrow 0$.
$1_A q = q, a.e.$であって,
$$\int q d\mu = \int 1_A q d\mu = \int 1_{B_n} q d\mu + \int 1_{A \backslash B_n} q d\mu$$
$\omega \in B_n$に$g_n(\omega) + (1/r) \geq q(\omega)$だから,$g_n + (1/r)1_{B_n} \geq 1_{B_n} q$.
したがって
$$\int g_n d\mu + \int \frac{1}{r} 1_{B_n} d\mu \geq \int 1_{B_n} q d\mu = \int q d\mu - \int 1_{A\backslash B_n} q d\mu \geq \int q d\mu - a \mu(A\backslash B_n)$$
極限を取って
$$\lim_{n \rightarrow \infty} \int g_n d\mu + \frac{1}{r} \mu(A) \geq \int q d\mu$$
$r > 1/a$は任意だから
$$\lim \int g_n d\mu \geq \int q d\mu$$
一方$g_n \leq q$から$\int g_n d\mu \leq \int q d\mu$で$\lim \int g_n d\mu \leq \int q d\mu$.
以上より
$$\lim \int g_n = \int q$$

5. The Integral of a Nonnegative Function

非負関数$g$の積分は,$g$をsimple functionによって下から近似して定めることはすでに述べた.

Definition 11-4

measurable $g: \Omega \rightarrow [0, \infty]$について,$S(g)=\{q| q \leq g, q\text{はsimple}\}$とする.
$$\int g d\mu = \sup_{q \in S(g)} \int q d\mu$$
と積分を定める.

Lecture 12 Abstract Integration -II

この章では重要な定理が証明されているが,関数がsimple functionである場合以外は省略する.

1. Borel-Cantelli Revisited

Borel-Cantelliの補題はすでに述べたがもう一度定式化する.http://37ma5ras.blogspot.jp/2017/07/gamarnik-tsisiklis-fundamentals-of_8.html
特に第一の主張$A=\{A_n \text{i.o.}\}, \sum P(A_n) < \infty \Rightarrow P(A)=0$について論じる.
$X_i$をevent $A_i$のindicator functionとする.$E[X_i] = P(A_i)$であって,$\sum E[X_i] < \infty$を仮定する.$\sum_{i=1}^n X_i$というrandom variableは非負で$n$によって増加列をなす.さらに
$$\lim_n \sum_{i=1}^n X_i = \sum_{i=1}^\infty X_i$$
と各点収束する.Monotone Convergence Theoremとexpectationの線形性から
$$\begin{aligned} E[\sum X_i] &= \lim E[\sum_{i=1}^n X_i] \\ &= \lim \sum_{i=1}^n E[X_i] \\&= \lim \sum_{i=1}^n P(A_i) = \sum P(A_i) < \infty \end{aligned}$$
であって,$\sum X_i < \infty \ a.s.$である.$A_i$が有限回起きる確率が1ということであって,すなわち$A_i$が無限回起きる確率が0ということである.

2. Connections between Abstract Integration and Elementary Definitions of Integrals and Expectations

2.2 Evaluating Expectations by Integrating on Different Spaces

$(\Omega, \mathcal{F}, P)$というprobability spaceを考える. $X$をその上のrandom variableとすと,$(\mathbb{R}, \mathcal{B}, P_X)$という新しいprobability spaceが現れる.ここで$\mathcal{B}$は$\mathbb{R}$のBorel sets, $P_X$は$X$のprobability law
$$P_X(A) = P(\{\omega \in \Omega| X(\omega) \in A\})$$
である.measurableな$g: \mathbb{R} \rightarrow \mathbb{R}$で$Y=g(X)$を定義し,また新たなprobability space $(\mathbb{R}, \mathcal{B}, P_Y)$を定める. $E[Y]$は3つの方法で計算できる.

Theorem 12-1

$$\int Y dP = \int g dP_X = \int ydP_Y$$

proof. $g$がsimple functionである場合のみ示す.

$g(\mathbb{R}) = \{y_1, ..., y_n\}$とする.定義より
$$YdP = \sum_{y_i} y_i P(\{\omega| Y(\omega) = y_i\} = \sum_{y_i} y_i P(\{\omega|g(X(\omega))=y_i\})$$
同様に
$$\int g dP_X = \sum_{y_i} y_i P_X(\{x| g(x) = y_i\})$$
$P_X$の定義より,
$$P_X(\{x|g(x)=y_i\}) = P_X(g^{-1}(y_i))=P(\{\omega|X(\omega)\in g^{-1}(y_i)\})=P(\{\omega|g(X(\omega))=y_i\})$$

以上によって示せた.

2.3 The Case of Continuos Random Variables, Described by PDFs

$X: \Omega \rightarrow \mathbb{R}$がcontinuousであるとは,そのCDFが
$$F_X(x)=P(X \leq x) = \int 1_{(-\infty, x]}f d\lambda \ \ \ \ (\lambda: \text{Lebesgue masure})$$
というふうに,非負でmeasurableな$f$で書けることであった.このとき$A \in \mathcal{B}$に
$$P_X(A) = \int_A f d\lambda$$
が成立する.$f$がRiemann積分可能で$A$が区間なら単に$P_X(A) = \int_A f(x) dx$と書ける.

Theorem 12-2

$g$はmeasurableで非負であるか,$\int |g| dP_X < \infty$ならば
$$E[g(X)] = \int g dP_X = \int (gf) d\lambda$$
が成立する.

proof.

$E[g(X)] = \int gdP_X$は定義であるから,$\int g dPX_ = \int (gf)d\lambda$を示す.
$g$がsimple functionで,$g= \sum_{i=1}^k a_i 1_{A_i}$と書けるときのみ示す.
$$\begin{aligned} \int g dP_X &= \sum_{i=1}^k a_i P_X(A_i) \\ &= \sum_{i=1}^k a_i \int_{A_i} f d\lambda \\ &= \sum_{i=1}^k \int a_i 1_{A_i}f d\lambda \\ &= \int \sum_{i=1}^k a_i 1_{A_i} f d\lambda \\&= \int (gf) d\lambda\end{aligned}$$
から,成立.

Fatou’s Lemma

$X, Y$という2つのrandom variableがあるとき,$\min\{X, Y\} \leq X, \min\{X, Y\} \leq Y$であって,expectationをとると$E[\min\{X, Y\}] \leq E[X], E[\min \{X, Y\}] \leq E[Y]$.したがって
$E[\min\{X, Y\}] \leq \min\{E[X], E[Y]\}$が成立する.
Fatouの補題はこれに無限個のrandom variableと極限操作を入れて出来る命題である.

Theorem 12-3

$Y$は$E[|Y|] < \infty$なるrandom variableとする.このとき
(a) $\forall n\ \ Y \leq X_n$であるなら$E[\liminf X_n] \leq \liminf E[X_n]$
(b) $\forall n\ \ X_n \leq Y$であるなら$E[\limsup X_n] \geq \limsup E[X_n]$

proof.

(a)のみ示す.$n$を固定し,
$$\inf_{k \geq n} X_k - Y \leq X_m - Y \ \ \ \ \ \forall m \geq n$$
expectationを取ってから$\inf$を考えて
$$E[\inf_{k \geq n} X_k -Y] \leq \inf_{m \geq n} E[X_m - Y]$$
$\inf_{k\geq n} X_k - Y$は非負であり,$n$によって広義単調増加である.また$\liminf X_n - Y$に収束する.両辺の極限を取って,
$$\lim_n E[\inf_{k \geq n} X_k - Y] \leq \liminf E[X_n-Y]$$
左辺はMonotone convegence theoremから$E[\liminf X_n -Y]$に収束し,
$$E[\liminf X_n - Y] \leq \liminf E[X_n -Y]$$
$E[|Y|] < \infty$から$E[\liminf X_n] \leq \liminf E[X_n]$

4. Dominated Convergence Theorem(DCT, 優収束定理)

Theorem 4. (DCT)

$X$に各点収束する$\{X_n\}$というrandom variableの列を考える.$\forall n \ \ |X_n| \leq Y, E[|Y|] < \infty$があるなら, $\lim E[X_n] = E[X]$

proof.

$-Y \leq X_n \leq Y$だから,両辺にFatou’s Lemmaを適用して
$$E[X] = E[\liminf _Xn] \leq \liminf E[X_n] \leq \limsup E[X_n] \leq E[\limsup X_n] = E[X]$$
ゆえに
$$E[X] = \liminf E[X_n] = \limsup E[X_n]$$
よって$\lim E[X_n]$が存在して,$E[X]$に等しい.

DCTの特別な場合に,Bounded Covergence Theorem(BCT, 有界収束定理)がある.これは$Y$を$c$という定数としたとき,すなわち$|X_n| \leq c \ \ \ a.s.$であるなら$E[X_n] \rightarrow X$を主張する.

Corollary 12-1

$\sum E[|Z_n|] < \infty$ならば
$$\sum_{n=1}^\infty E[Z_n] = E[\sum_{n=1}^\infty Z_n]$$
が成立する.

proof.

Monotone Convergence Theoremを$Y_n = \sum_{k=1}^n |Z_k|$に適用し
$$E[\sum |Z_n|] = \sum E[|Z_n|] < \infty$$
$X_n = \sum_{i=1}^n Z_i$とすれば$\lim X_n = \sum Z_n$. $|X_n | \leq \sum |Z_i|< \infty$で,これにDCTを適用する.