Gamarnik, Tsisiklis. Fundamentals of Probability 05日目 確率変数2

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 5. Random Variables

2. Cumulative Distribution Functions

Definition 5-4 (Cumulative distribution function)

$X$をrandom variableとし、$F_X: \mathbb{R} \rightarrow [0, 1]$を
$$F_X(x) = P(X \leq x)$$
と定めると、random variableの定義より$F_X(x)$は常に定義されている.
$F_X$を$X$のcummulative distribution function(CDF, 累積分布関数)という.

Example 4.

$X$を2回のコイントスで表が出る回数の確率変数とすると,
$(X=0) = P(X=2) = 1/4, P(X=1) = 1/2$である.したがって,
$$F_X(x) = \begin{cases} 0 \ \ \ & x < 0 \\ 1/4 & 0 \leq x < 1 \\ 3/4 & 1 \leq x < 2 \\ 1 & x \geq 2 \end{cases}$$

Example 5. (A uniform random variable and its square)

$(\Omega=[0, 1], \mathcal{B}, P)$をprobability spaceとする.$P$はLebesgue masureとする.このときrandom variable $U$を,$U(\omega) = \omega$とすると,$U$はuniformly distributedという.このとき$U$のCDFは
$$F_U(x) = \begin{cases} 0 \ \ & x < 0 \\ x & 0 < x < 1 \\ 1 & x \geq 1 \end{cases}$$
である.$X=U^2$というrandom variableを考えると
$$F_X(x) = \begin{cases} 0 \ \ &x < 0 \\ \sqrt{x} & 0 \leq x < 1 \\ 1 & x \geq 1 \end{cases}$$
である.

2.1 CDF Properties

Theorem 5-3.

$X$をrandom variableとし,$F$をそのCDFとすると,以下を満たす.

(a) (Monotonicity) $x \leq y \Rightarrow F_X(x) \leq F_X(y)$
(b) (Limiting values) $\lim_{x \rightarrow - \infty} F_X(x) = 0, \lim_{x \rightarrow \infty} F_X(x) = 1$
(c) (Right-continuity) $\forall x \ \ \lim_{y \rightarrow x + 0} F_X(y) = F_X(x)$

proof.

(a)

$x \leq y$とする.$\{\omega| X(\omega) \leq x\} \subset \{\omega| X(\omega) \leq y\}$で,measureの単調性から成立.

(b)

$F_X(x)$は単調で,下に有界で,下限は0である.$x_n \rightarrow -\infty$なる数列を考えると,数列$F_X(x_n)$は単調減少して$\inf F_X(x_n) = 0$.単調有界定理より$\lim F_X(x_n) = 0$.continuity of probabilityから$\lim_{x \rightarrow - \infty} F_X(x) = 0$.後者も同様.

(c)

$\{x_n\} \rightarrow x + 0$とする.$\{X \leq x_n\}$というeventは現象列で,$\cap_n \{X \leq x_n\} = \{ X \leq x\}$である.continuity of probabilityから,
$$\lim F_X(x_n) = \lim P(X_ \leq x_n) = P(X \leq x_n) = F_X(x)$$
$\{x_n\}$の選び方は任意だから,$\lim_{x \rightarrow y + 0} F_X(y) = F_X(x)$

2.2 From a CDF to a probability law

$F: \mathbb{R} \rightarrow [0, 1]$がTheorem 5-3を満たしているとき,このような$F$をdistribution functionという.$F$が与えられたとき$F_X = F$となるようなrandom variable $X$(とprobability space)が必ず存在する.

Theorem 4.

$F$がdistribution functionであるなら,Lebesgue measureを持つprobability space ($[0, 1], \mathcal{B}, P)$)上のrandom variableで,そのCDF $F_X$が$F$に等しいものが存在する.

proof.

$F$が連続で狭義単調増加であると強い仮定を加えて議論する.
このとき$F$の値域は$(0, 1)$であって,$F$は可逆である.$U(\omega) = \omega, X(\omega) = F^{-1}(\omega)$とする.
このとき$X = F^{-1}(U)$であって$F(X) = U$である.$F$は狭義単調増加だから$X \leq x \Leftrightarrow F(X) \leq F(x)$.
$U=F(X)$を考えれば,(Example 5から)
$$F_X(x) = P(X \leq x) = P(F(X) \leq F(x)) = P(U \leq F(x)) = F(x)$$

$X$のprobability law(distribution)はすべてのBorel setに確率を割り当てるが,CDFは区間に対してのみ確率を割り当てる.

Proposition 5-2

$X$のprobability law $P_X$は$X$のCDF $F_X$がわかれば一意に定まる.
proof. 略

3. Discrete Random Variables

Definition 5-5 (Discrete random variables and PMFs)

(a) $(\Omega, \mathcal{F}, P)$がprobability spaceで,そのrandom variable $X$がdiscreteである
$\Leftrightarrow |X(\Omega)| \leq |\mathbb{N}|$
(b) $X$がdiscrete random variableであるとき,$p_X :\mathbb{R}\rightarrow [0, 1]$を$p_X(x) = P(X=x)$と定める.このとき$p_X$を$X$の(probability) mass functionといい,PMFとも書く.

$X(\Omega) = C, |C| < \infty$であるとき,任意のBorel set $A$に,countable additivityより
$$P(X \in A) = P(X \in A \cap C) = \sum_{x \in C} P(X=x) = \sum_{x \in C} p_X(x)$$
とくにCDFは
$$F_X(x) = \sum_{\{y \in C| y \leq x\}} P(X=y)$$
で与えられる.
整数の値だけを取るrandom variableはdiscreteであり,simple random variable($I_A$)もまたdiscreteである.
$X(\Omega) = \{x_1, x_2, ...\}$と書けるとき,$A_n = \{X=x_n\}$というeventを定義できる(eventであることはdef. 5-1から直ちに従う).$\{A_n\}$は互いに素な族で,$\sum A_n = \Omega$である.したがって,
$$X(\omega) = \sum x_n I_{A_n}(\omega)$$
と書ける.逆に,$\Omega = \sum A_n$なる族$\{A_n\}$と実数列$\{x_n\}$があるとき,
$$X(\omega) = \sum_n x_n I_{A_n}(\omega)$$
とすると$X$は$P(X=x_n) = P(A_n)$を満たすdiscrete random variableである.

4. Continuous Random Variables

Definition 5-6

$(\Omega, \mathcal{F}, P)$上のrandom variable $X$が continuousである
$\Leftrightarrow$ measurable function $f: \mathbb{R} \rightarrow [0, \infty)$で
$$F_X(x) = \int^x_{-\infty} f(t)dt$$
をみたすものが存在する.この$f$を$X$の(probability) density functionといいPDFとも書く.
(measurable function: Definition 5-3, $f^{-1}(B)\in \mathcal{F}_1$, 積分は後で議論する)

$\lim_{x \rightarrow \infty} F_X(x)=1$から,
$$\int^{\infty}_{\infty}f = 1$$
である.measurable functionが上の性質を満たすときdensity functionという.逆にdensity function fが与えられたとき$F(x) = \int^x_{-\infty} f(t) dt$とすると$F$はdistribution functionである.よって,density fnctionが与えられたとき,$F(x) = \int^x_{-\infty} f(t) dt$とすると,$F$をdistribution functionとするrandom variable $X$がある.
CDF $F_X$がある点$x$で微分可能なとき,$f_X(x) = F'(x)$であるが,CDFは必ずしも微分可能でない.また,continuous random variableのprobability density functionは一意ではない(これが問題となることは稀であるが).

Example 7

uniform random variable(Example 5)について,$x \in (0, 1)$で$F_U(x) = P(U \leq x) = x$である.微分して,
$f_X(x) = 1$.一方$F_U(0) = 0 (x \leq 0)$だから$F_U$は$x=0$で微分不可能であるその微分係数を実数のどれとしても結果は変わらない.

continuous random variableのprobability density functionによって,様々な数直線上の部分集合の確率を計算できる.例えば$\forall x \ \ P(X=x) =0$なら,
$$P(a < X < b) = P(a \leq X \leq b) = \int^b_a f_X(t)dt$$
である.より一般に,Borel set Bに,
$$P(X \in B) = \int_B f(t) dt = \int I_B(t) f_X(t)dt$$
である.特に$B$がmeasure 0 なら$P(X \in B) = 0$である.

Gamarnik, Tsisiklis. Fundamentals of Probability 04日目 数え上げと確率変数

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 4. Counting

1. Banach’s Matchbox Problem

$n$本のマッチが入ったマッチ箱が２つある．マッチを使うとき，どちらかのマッチ箱をランダムに１つ選んでそこから取り出す．マッチを補充せずに使い続けるとき，マッチを取り出そうとしてその箱がからであると気づき,またその瞬間もう一方のマッチ箱に$k$本のマッチが入っているという確率を考える．

このeventが起こるときには２つのパターンがある．マッチ箱1とマッチ箱2と名前を付ける
(a) 最初の$2n-k$回マッチ箱を選ぶうち，$n$回マッチ箱1を選び，$n-k$回マッチ箱2を選ぶ．そして$2n-k+1$回目にマッチ箱2を選ぶ．
(b) 最初の$2n-k$回マッチ箱を選ぶうち，$n$回マッチ箱2を選び，$n-k$回マッチ箱1を選ぶ．そして$2n-k+1$回目にマッチ箱1を選ぶ．

(a)の確率は，
$$\left( \begin{array}{} 2n-k \\ n \end{array} \right) \cdot \frac{1}{2^{2n-k}} \cdot \frac{1}{2}$$
(b)の確率も同様で，合わせて
$$\left( \begin{array}{} 2n-k \\ n \end{array} \right) \cdot \frac{1}{2^{2n-k}}$$

2. Multinomial Probabilities

$n$回の独立な試行を考える．それぞれの試行で$\{a_1, ..., a_r\}$のどれかが１つだけ生じるとする．また，$a_i$の起きる確率を$p_i$とする．$n$回の試行で,$a_i$が$n_i$回起こる確率はどれだけか$(\sum n_i = n)$

$n$回の試行で$a_1$が$n_1$回,$a_2$が$n_2$回…
と連続して出る確率は$p_1^{n_1} \cdots p_r^{n_r}$.
さらに$n_i$個の$a_i$たちの列の全ての並び替えは$n! /( n_1 ! \cdots n_r !)$
したがって求める確率は
$$\frac{n!}{n_1! \cdots n_r!} p_1^{n_1} \cdots p_r^{n_r}$$

Lecture 5. Random Variables

1. Random Varibales and Measruable Functions

random variable(確率変数)はsample spaceから実数への関数であって，$X$などと書くことにする．ある試行の結果が$\omega \in \Omega$であったとき，$X(\omega) \in \mathbb{R}$を返す．ある$c$があって，$\{\omega | X(\omega) \leq c\}$のprobability (measure)が我々の興味の対象となる．measureが定義されているか($\Leftrightarrow$ eventであるか $\Leftrightarrow \mathcal{F}$の元か)が問題となってくる．

Example 5-1.

5回のコイントスを考える．$\Omega = \{0, 1\}^{5}$であって，”1”は表を，”0”は裏を表すとする．$\mathcal{F} = 2^{\Omega}$で，$(\Omega, \mathcal{F}, P)$はprobability spaceとする．
表の出る回数の確率を求める．$X: \Omega \rightarrow \mathbb{R}$を,
$$X(\omega_1, ..., \omega_n) = \omega_1 + \cdots + \omega_n$$
と定めると，$X$は表が出た回数を表すrandom variableであって，例えば
$\{\omega | X(\omega) < 4\}$は表が３回以下でるというeventである．

$\mathbb{R}$のBorel setsを$\mathcal{B}$と書く．random variableが$\pm \infty$をとることを許すとき，拡大実数$\overline{\mathbb{R}} = \mathbb{R} \cup \{\infty, -\infty\}$を考えて，それのBorel setsをまた$\mathcal{B}$と書くことにする．$\{-\infty\}, \{\infty\} \in \mathcal{B}$である．

1.1 Random Variables

Definition 5-1 (Random Variables)

(a) $X: \Omega \rightarrow \mathbb{R}$がrandom variableである
$\Leftrightarrow$ 任意の$c \in \mathbb{R}$ に $\{\omega | X(\omega) \leq c\}\in \mathcal{F}$である．
(b) $X: \Omega \rightarrow \overline{\mathbb{R}}$がextended-valued random variableである
$\Leftrightarrow$ 任意の$c\in \overline{\mathbb{R}}$ に $\{\omega | X(\omega) \leq c\} in \mathcal{F}$である．

Example 5-2 (Indicator functions)

$A \subset \Omega$に，$I_A : \Omega \rightarrow \{0, 1\}$
$$I_A (\omega) = \begin{cases} 1 \ \ \ &(\omega \in A) \\ 0 &(\omega \notin A)\end{cases}$$
を$A$のIndicator function(特徴関数)という．
$A \in \mathcal{F} \Leftrightarrow I_A \text{はrandom variable}$

Example 5-3 (A function of a random variable)

$X$をrandom variable とする．$Y: \Omega \rightarrow \mathbb{R}$を,
$Y(\omega) = (X(\omega))^3$と定める．$Y = X^3$と簡潔に書いたりする．
このとき$Y$もまたrandom variableである．

1.2 The law of a random variable

random variable $X$について，$\{\omega | X(\omega) \leq c\}$というeventを単に$\{X\leq c\}$とか，$X \leq c$と書く．より一般的に,$B \subset \mathbb{R}$に，$\{\omega | X(\omega) \in B\}$を$X^{-1}(B)$や$\{X \in B\}$と書く．
$(-\infty, c]$という区間と補集合の組み合わせて$B \in \mathcal{B}$は書けるから，$X$がrandom variableなら，任意の$B \in \mathcal{B}$に，$X^{-1}(B) \in \mathcal{F}$である．したがって，$P(X^{-1}(B)) = P(\{\omega | X(\omega) \in B\})$は定義されている．$P(X \in B)$とも書く．

Definition 5-2 (The probability law of a random variable)

$(\Omega, \mathcal{F}, P)$をprobability space, $X: \Omega \rightarrow \mathbb{R}$をrandom variableとする．

(a) $\forall B \in \mathcal{B}$に，$P_X(B) := P(X \in B)$と定める．
(b) $P_X : \mathcal{B} \rightarrow [0, 1]$を$X$のprobability lawという．

$P_X$はときに$X$のditribution(分布)とも呼ばれる．$P_X$は$(\mathbb{R}, \mathcal{B})$のprobability measureにもなっている．$(\Omega, \mathcal{F}, P)$は扱いづらいことが多いので，$(\mathbb{R}, \mathcal{B}, P_X)$で議論をすることがよくある．

先程の主張を証明する．

Proposition 5-1

$(\Omega, \mathcal{F}, P)$がprobability spaceで，$X$をrandom variableとすると,$P_X$は$(\mathbb{R}, \mathcal{B})$のprobability measureである．

proof. 略

1.3 Technical digression: measurable functions

random variableの一般化

Definition 5-3

$(\Omega_1, \mathcal{F}_1), (\Omega_2, \mathcal{F}_2)$をmeasurable spaceとする．
$f: \Omega_1 \rightarrow \Omega_2$が$(\mathcal{F}_1, \mathcal{F}_2)$-measurable $\Leftrightarrow$ $\forall B \in \mathcal{F}_2 \ \ f^{-1}(B) \in \mathcal{F}_1$

以上の定義と前節の内容を考えると，$(\Omega, \mathcal{F})$上のrandom variable $X$は，
$X: \Omega \rightarrow \mathbb{R}$として$(\mathcal{F}, \mathcal{B})$-measurable.

Theorem 1.

$(\Omega, \mathcal{F})$をmeasurable spaceとする．

(a) (Simple random variables)
$A \in \mathcal{F}$とすると，indicator function $I_A$は$(\mathcal{F}, \mathcal{B})$- measurable
(b) $A_1, ..., A_n \in \mathcal{F}$であって，$x_1, ..., x_n \in \mathbb{R}$があるとき，
$X=\sum_{i=1}^n x_i I_{A_i}$はrandom variableである．特にsimple random variableという．
(c) $(\Omega, \mathcal{F})=(\mathbb{R}, \mathcal{B})$で，$X: \mathbb{R} \rightarrow \mathbb{R}$が連続である時，$X$はrandom variableである．
(d) (Functions of a random variable)
$X$をrandom variable とする．$f: \mathbb{R} \rightarrow \mathbb{R}$が連続である時，$f(X)$はrandom variableである．
(e) (Funtions of multiple random variables)
$X_1, ..., X_n$がrandom variableであり，$f: \mathbb{R}^n \rightarrow \mathbb{R}$が連続である時，$f(X_1, ..., X_n)$もrandom variableである．特に$X_1+X_2, X_1X_2$はrandom variableである．

proof. 略

さらに，random variableの列の極限からrandom variableを定義することもできる．

Theorem 2

$(\Omega, \mathcal{F})$をmeasurable spaceとする．$X_n$がrandom variableであるとき，
$\inf_n X_n, \sup_n X_n, \liminf_{n \rightarrow \infty}X_n, \limsup_{n \rightarrow \infty}X_n$はrandom variableであって，さらに$\{X_n\}$が$X$に各点収束するとき，$X$もrandom variable である．

proof. 略

The Rust Programming Language 2nd 11日目

![](https://doc.rust-lang.org/book/second-edition/]
Apache License　Version 2.0

8. Common Collections

Strings

What is String?

Rustが実装している文字列型はstrのみで，ふつう&strで利用される．StringはRustの標準ライブラリに実装されていて，ともにUTF-8でエンコードされている．

Creating a New String

Vecと同じく，newによって新しいStringを定義できる．
let s = String::new();
はsという空の文字列を新たに宣言する．また，変数に入れたい文字列が決まっているときは，

let data = "initial contents";

let s = data.to_string();
// これらは結局同じこと
let s = "initial contents".to_string();

このように，to_string methodによって，String型の変数を作れる．to_stringはDisplayを実装している型なら持っている．また，String::fromで文字列リテラルを受け取るとStringにできることはすでに見た．

let s = String::from("initial contents");

Updating a String

Vecと同じくStringは伸び縮みできるし，その中身自体を変更することもできる．特に,+演算子によってString同士をつなげることができる．

Appending to a String with Push

Stringにpush_str methodによって末尾にさらに文字列を追加できる．

fn main() {
  let mut s = String::from("foo");
  s.push_str("bar");

  println!("s is {}", s);
}

shell

s is foobar

さらに，string literalはStringのreferenceだから，(Chap. 4)

fn main() {
  let mut s1 = String::from("foo");
  let s2 = String::from("bar");
  s1.push_str(&s2);                   // referenceでないとエラー

  println!("s1 is {}", s1);
}

としても同じことである．ただし,push_strはreferenceのみを引数に取る．
また，pushは引数に1文字だけをとる．

fn main() {
  let mut s1 = String::from("lo");
  s1.push('l');                       // 'lo'などとするとエラー

  println!("s is {}", s1);
}

Concatenation with the + Operator or the format! Macro

2つのStringを結合させたいことがある．前節とは別の方法に，+によるconcatenationがある．

let s1 = String::from("Hello, ");
let s2 = String::from("World!");
let s3 = s1 + &s2; // s1はmoveしてこの時点で消滅する．s2は必ずreference

このようにしてs3の中身はHello, World!となる．+演算子は内部的には

fn add(self, s: &str) -> String{ // 本当はもっと高度なことをしているらしい(Chap. 10)

のような，Stringのadd methodを使っているので，ownershipのmoveによってs1は消えてしまう．ところで，&s2の型は&Stringで，&strではない．addの引数として&Stringを与えると内部でderef coercionという機能が働いて&strに変換(原文coerce)する．(&s2 => &s2[..]　にする．strとはStringのsliceであった．)
また，addは引数のselfのownershipをとっていて，s1は消える．
2つ以上のStringを結合したいときは，let s = s1 + "-" + &s2 + "-" + &s3;などとする．またより読みやすい記法としてlet s = format!("{}-{}-{}", s1, s2, s3);としても同じことである．

Indexing into Strings

rustはStringのindexを指定して文字を取り出す機能を実装していない．

Internal Representation

StringはVec<u8>のラッパである．つまり，UTF-8のコードの数値をVectorに保持し，それを文字列として扱うための糖衣構文である．

let len = String::from("Hola").len();

とすると，lenは4である．これはUTF-8でラテン文字は1Byteで表現されるためで，例えば

let len = String::from("Здравствуйте").len();

とすると，キリル文字は2Bytesで表現されるのでlenは24となる.ここで

let hello = "Здравствуйте";
let answer = &hello[0];       // 実際はコンパイルできない

とすると，ЗのUTF-8表現は208なので，answerは208となって，これは大方のプログラマの予期しない結果と思わるので，Rustはこうした行為ができないようにしている．

Bytes and Scalar Values and Grapheme Clusters! Oh my!

Grapheme Clustersとは，我々が単にletters(文字列？)と呼ぶものに最も近いRust内の表現である．
“नमस्ते”というヒンズー語の文字列は，Rust内部では究極的に
“`rust
[224, 164, 168, 224, 164, 174, 224, 164, 184, 224, 165, 141, 224, 164, 164,
224, 165, 135]

という```Vec<u8>```型である．
これは18bytesあって，ヒンズー語の文字としてそれぞれを分けてみると，
```rust
['न', 'म', 'स', '्', 'त', 'े']




<div class="se-preview-section-delimiter"></div>

左から4,6番目はletterでなく，diacritic(発音記号)であって，結局grapheme clustersは

["न", "म", "स्", "ते"]




<div class="se-preview-section-delimiter"></div>

のようになる．このように,プログラマの直感とはかなり異なった方法でRustは文字列を保持していて，Stringのインデクシングを直感的に行えるようにするには，計算量が(O(1))では効かなくなる．インデクシングは常に定数計算量(O(1))であるべきと開発者が考えたため，Stringはインデクシングを実装していない．

Slicing Strings

Stringをbyteごとにスライスすることはできる．

let hello = "Здравствуйте"
let s = &hello[0..4];

sは最初から4番目までのByteへのrefereceで，&str型である．キリル文字は2bytes文字だから，sをプリントするとЗдとなる．
&hello[0..1]とすると，最初の１byteのみ保持するようになるはずだが，それぞれの文字の境界に両端がないスライシングをしようとすると実行時にPanicを起こす．

Methods for iterating Over Strings

Stringのそれぞれの文字にアクセスできる方法は他にもある．
Stringに含まれるUTF-8のscalar value(つまり文字)に何かを実行したいときは，chars methodを使うのが一番良い．“नमस्ते”にcharsを適用すると，もとの文字列を分解して，それぞれの文字をchar型にしてくれる．

for c in “नमस्ते”.chars() {
  println!("{}", c);
}

は

न
म
स
्
त
े

を返す．(発音記号ごとイテレーションしているがいいのか・・・・)
一方でbytes methodはそれぞれのbyteを返す．

for b in "नमस्ते".bytes() {
    println!("{}", b);
}

shell

224
164
// etc

Strings are Not so Simple

このように，Rustでの文字列の扱いはとても複雑なことがわかっただろう．

Gamarnik, Tsisiklis. Fundamentals of Probability 03日目 条件付き確率と独立性

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 3. Conditioning and Independence

この節で$(\Omega, \mathcal{F}, P)$はprobability spaceとする．また，$A,B$やそれにindexをつけた集合は特に断らない限りeventで，すなわち$A,B, A_i, B_i \in \mathcal{F}$とする．

1. Conditional Probability

Definition 3-1.

$B \in \mathcal{F}$ は$P(B) > 0$であるとする．$A \in \mathcal{F}$について，$B$を前提として$A$が起こるというconditional probability(条件付き確率)を$P(A|B)$と書き,
$$P(A |B)= \frac{P(A \cap B)}{P(B)}$$
である．

Theorem 3-1.

(a)$P(B) > 0$であるとき，$P(\Omega|B) = 1$であり，任意の互いに素な$\{A_i\}_{i \in \mathbb{N}} \subset \mathcal{F}$に
$$P(\cup_i A_i | B) = \sum_i P(A_i | B)$$
である．
(b) $P(B)>0$で，$\mathcal{F}$上の関数$P_B: A \rightarrow P(A|B)$とすると，$P_B$は$\Omega, \mathcal{F})$上のprobability spaceである．
(c) $A \in \mathcal{F}$とする．$\{B_i\}_{i \in \mathbb{N}} \subset \mathcal{F}$を$\Omega$の分割，つまり互いに素で総和が$\Omega$であるとすると，
$$P(A) = \sum_i P(A|B_i) P(B_i)$$
が成立する．
(d) (Bayes’ rule)
$P(A)>0$とする．$\{B_i\}$が$\Omega$の分割で，常に$P(B_i)>0$なら，
$$P(B_i|A) = \frac{P(B_i)P(A|B_i)}{P(A)} = \frac{P(B_i)P(A|B_i)}{\sum_j P(B_j)P(A|B_j)}$$
が成立する.とくに$P(B), P(B^c)>0$であると，
$$P(A) = P(A|B)P(B) + P(A|B^c)P(B^c)$$
(e)
任意の$\{A_i\}$について，
$$P(\cap_i A_i) = P(A_1) \Pi_{i \geq 2} P(A_i | A_1 \cap \cdots \cap A_{i-1})$$
が，conditional probabilityがwell-definedである限り成立する．($P(A_1 \cap \cdots)>0$である限りということか)

proof.

(a) $$P(\cup_i A_i |B) = \frac{P((\cup_i A_i) \cap B)}{P(B)} = \frac{P(\cup_i(A_i \cap B))}{P(B)}$$
$\{(A_i \cap B)\}$は互いに素だから，countable additivityから$P(\cup_i (A_i \cap B))=\sum_i(P(A_i \cap B))$.上式の最右辺に代入すると，
$$P(\cup_i A_i | B) = \frac{\sum_i P(A_i \cap B)}{P(B)} = \sum_i \frac{P(A_i \cap B)}{P(B)} = \sum_i P(A_i | B)$$
(b): $P_B(\phi) = \frac{P(\phi \cap B)}{P(B)} = 0$.またcountable additivityは(a)から直ちに従う．
以下略

2. Independence

$A, B$の一方の起きることが，もう一方が起きるか否かに関係ないとき，$A, B$はindependent(独立)という．これを定式化する．

Definition 3-2

(a) A, B がindependent
$\Leftrightarrow P(A\cap B) = P(A) P(B)$.
とくに$P(B)>0$なら，$P(A) =P(A|B)$である．
(b) $S$:(有限でも可算でも非可算でもよい)を添え字集合とする集合族$\{A_s\}$について，この集合族に属するeventたちは独立である
$\Leftrightarrow$ 任意の$S_0 \subset S, |S_0|<\infty$に，
$$P(\cap_{S_0} A_s ) = \Pi_{s \in S_0} P(A_s)$$
(c) $\mathcal{F}_1, \mathcal{F}_2 \subset \mathcal{F}$が$\sigma$-fieldであるとき，$A_1 \in \mathcal{F_1}, A_2 \in \mathcal{F}_2$の任意の組み合わせで$A_1, A_2$がindependentであるとき，$\mathcal{F}_1, \mathcal{F}_2$はindependentであるという．
(d) $\mathcal{F}$の$\sigma$-fieldである部分集合たちの属の独立性も(b),(c)を組み合わせて定義できる．

Theorem 3-2

$\mathcal{G}_1, \mathcal{G}_2$はともに積集合について閉じたmeasurable setの族とする．
$P(A \cap B) = P(A)P(B)$が任意の$A \in \mathcal{G}_1, B \in \mathcal{G}_2$に成立するとき，$\sigma(\mathcal{G_1}), \sigma(\mathcal{G_2})$はindependentである．
proof. 略

3. The Borel-Cantelli Lemma

Definition 3-3

$\{A_n\}_\mathbb{N}$について，「$A_n$が無限回生じる」というeventは，無限に多くの$A_i$に属するような$\omega \in \Omega$たちの集合であって，
$$\{A_n \ \text{i.o.} \} = \limsup A_n = \cap_{n \geq 1} \cup_{i \geq n} A_i$$
と書く．(i.o. : infinitely often)

Borel-Cantelliの補題の証明のためにlemmaを導入する．

Lemma 3-1

$0 \leq p_i \leq 1$が任意の$i$に成り立ち，$\sum p_i = \infty$ならば$\Pi (1-p_i) = 0$

Theorem 3-3 (Borel-Cantelli lemma)

$A = \{A_n \ i.o.\}$とする．
(a) $\sum P(A_n) < \infty \Rightarrow P(A) = 0$
(b) $\sum P(A_n) = \infty \text{ and} \{A_n\} \text{ are independent} \Rightarrow P(A)=1$

proof.

(a) $\sum P(A_i) <\infty$から$\lim_n \sum_{i \geq n} P(A_i) = 0$
任意の$n$に$A \subset \cup_{i\geq n} A_i$だから，
$P(A) \leq P(\cup_{i \geq n} A_i) \leq \sum_{i \geq n} P(A_n) \rightarrow 0$
よって$P(A)=0$
(b) $B_n=\cup_{i \geq n} A_i$とする．$A = \cap_n B_n$である.$P(B^c_n) = 0$を示す．
$n$を固定し,$m \geq n$とする．独立性から
$$P(\cap_{i=1}^m A^c_i) = \Pi_{i=n}^m P(A^c_i) = \Pi_{n \leq i \leq m} (1-P(A_i))$$
仮定$\sum P(A_i) = \infty$より$\sum_{i \geq n} P(A_i) = \infty$.Lemma 3-1を
$\{P(A_i) | i \geq n\}$に適用し，$\Pi_{i \geq n} (1- P(A_i)) = 0$.したがって
$$P(B^c_n)=P(\cap_{i \geq n} A^c_i)=\lim_m P(\cap_{i=n}^m A_i^c) = \lim_m \Pi_{i =n}^m (1-P(A_i)) =0$$
が成立する．

Gamarnik, Tsisiklis. Fundamentals of Probability 02日目 確率空間の構成

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Lecture 2. Two Fundamental Probabilistic Models

以下の2つは最も単純なprobabilistic modelである．
(a) $[0, 1]$上のuniform distribution(一様分布)$P([a, b]) = b-a$
(b) $n$回のコイントス，任意の結果$x$に$P(x) = 2^{-n}$

これらは一回生で習うような統計学でも当たり前のように出てくる．これらが前回学んだ理論に合致しているか確かめる．

1. Caratheodory’s extension theorem

$(\Omega, \mathcal{F})$というmeasurable spaceと$P$が持つべき性質が与えられたとき，そうした性質を持った$P$を構成する方法を考える．$\mathcal{F_0} \subset \mathcal{F}$であって，$P$の持つべき性質が容易に満たせるような$\mathcal{F_0}$があって，しかも$\sigma(\mathcal{F}_0)=\mathcal{F}$であるとよい．

Theorem 1. (Caratheodory’s extension theorem)

$\mathcal{F_0} \subset 2^\Omega, \mathcal{F} = \sigma(\mathcal{F_0})$とする．
$P_0$が$\mathcal{F}_0$から$[0,1]$への写像で，$P_0(\Omega)=1$かつ，$\mathcal{F}_0$でcountable additivityを満たしているとする．
このとき，$P_0$は$(\Omega, \mathcal{F})$に一意に拡張できる．すｋなわち，$P_{|\mathcal{F}_0}=P_0$で，$(\Omega, \mathcal{F}, P)$がprobability spaceである$P$がただ一つ存在する．

proof.略 (Williams)
この定理を適用するときに問題となるのは,$P_0$が$\mathcal{F_0}$でcountable additivity を満たすかということである．それにはLec.1 Theorem 1のcountable additivityの同値命題を使うと良い:$\{A_i\}$が減少列であるとき，$\cap A_i = \phi \Rightarrow \lim P_0 (A_i) = 0$

2. Lebesgue Measure on [0, 1] and on $\mathbb{R}$

$[0, 1]$上のuniform probability measureを構成する．これはLebesgue measureとも呼ばれる．Lebesgue measureは$[0, 1]$の部分集合にその長さをmeasureに与える．単純に長さの定義できない集合にもmeasureを与えることが問題となる．簡単のため，まずは$\Omega=(0, 1]$から考える．

2.1 A $\sigma$-field and a field of subsets of $(0 ,1]$

$\mathcal{C} = \{[a, b] | (a, b) \subset (0, 1] \}, \mathcal{F} = \sigma(\mathcal{C})$をBorel $\sigma$-fieldといい，$\mathcal{B}$であらわす．$\mathcal{B}$の元をBorel setsとか,Borel measurable setsという．
$\mathcal{C}$から始めて，加算和とか，加算積とか，補集合とか，有限あるいは可算の操作を繰り返してできる集合たち全体の集合はBorel setである．
都合の良い$\mathcal{F}_0 \subset 2^{(0, 1]}$とその上でのmeasure $P_0$を定めてから，それを拡張する．$A \in \mathcal{F}_0 \Leftrightarrow A = (a_1, b_1] \cup \cdots (a_n, b_n]$と定める．このとき，

Lemma 1

$$\sigma(\mathcal{F}_0) = \sigma(\mathcal{C}) = \mathcal{B}$$

proof. 略 (半開区間が，閉区間の可算積で書けることを思い出せばあきらかだろう)

Lemma 2

(a) $\mathcal{F}_0$はfieldである．(field: $\sigma$-fieldのcountable additivity aをfinite additivityにしたもの)
(b) $\mathcal{F}_0$は$\sigma$-fieldでない．

proof.

(a)
$(a, a] = \phi \in \mathcal{F}_0, (0, 1] \in \mathcal{F}_0$
$(a, b] \in \mathcal{F}_0$であるとき，$(a, b]^c = (0, a] \cup (b, 1] \in \mathcal{F}_0$
finite additivity は定義より成立．
(b)
(a) $(0, n/(n+1)) \in \mathcal{F}_0$だが，$n \in \mathbb{N}$について和集合をとると，$(0, 1)$となる．これは$\mathcal{F}_0$の元でないので，確かにcountable additivityを持っていない．

2.2 The uniform measure on (0, 1]

$A \in \mathcal{F}_0$が$A = (a_1, b_1] \cup \cdots \cup (a_n, b_n]$と互いに素な区間の和で書けるとする．
このとき$P_0(A) = \sum(b_i - a_i)$とすると，これは$A$の長さの総和であることが，区間の長さと有限和から言える．長さの直感的性質から，$P_0$は同時にcountable additiveであると考えられる(Williams).
上の考察にCarateodory’s Extension Theoremを適用して，$\mathcal{B} = \sigma(\mathcal{F_0})$上のprobability measure $P$, 別名をLebesgueやuniform measureというmeasureを得る．

Exercise 1

$A$を$[0, 1]$上の無理数の集合とする．$P(A)=1$を示せ．

proof.

$[0, 1]$上の有理数は可算個であり，$P(A) = P([0, 1] \backslash ([0, 1] \cap \mathbb{Q})) = 1 - P([0, 1] \cap \mathbb{Q}) = 1 -0 = 1$
(可算集合の測度$P$は$\sum_{i} 0 = 0$を使った)

以上は$(0, 1]$でのみ議論したが，有界な区間であればLebesgue measureが定義できることは直ちに示せる．一方で，$\mathbb{R}$にLebesgue measureを定めるとなると，また別の議論が必要となる．

2.3 The Lebesgue measure on $\mathbb{R}$

$\Omega = \mathbb{R}$とする．$\mathbb{R}$上の$\sigma$-fieldは，$\mathcal{C} = \{[a, b] : a<b\}, \mathcal{B} = \sigma(\mathcal{C})$と構成するのが自然であるが，同値な定義に:
$(n, n+1]$のBorel $\sigma$-fieldを全ての$n\in\mathbb{N}$に前節の容量で作り，$A \cap (n, n+1]$が常にBorel subsetであるとき，$A$を$\mathbb{R}$のBorel subsetであるという．このような$A$の集合を$\mathcal{B}$と定める．
がある.

さて，$P_n$を$(n, n+1]$でのuniform measureとする．$A \subset \mathbb{R}$に，
$$\mu(A) = \sum_{n \in \mathbb{N}} P_n(A \cap (n, n+1])$$
によって$\mu$を定めると，これは$(\mathbb{R}, \mathcal{B})$のmeasureになる．一方$\mu(\mathbb{R})=\infty$から，これはprobability measureではない．

Exercise 4.

$\mu$が$(\mathbb{R}, \mathcal{B})$上のmeasureであると示せ．
答案.

定義から，$\mu$は$\mathcal{B}$で定義され,$\mu(\phi)= \sum_n P_n(\phi) = 0$.
$A=\cup_i A_i, A_i = \cup_{i, j} A_{i, j}, A_{i, j} \subset (i, i+1]$とすると，$P_n$のcountable additivityより，$\mu$もcountable additivityを満たす．

Coiun Tooses: A “Uniform” Measure on ${0, 1}^{\infty}$

無限回のコイントスの試行というsample spaceに，最初の$n$回のコイントスにおける結果のパターンの確率がそれぞれ$2^{-n}$であるように$\sigma$-fieldとprobability measureを定義したい．以後，コインの表裏にそれぞれ$1, 0$を割り当てて，$\Omega = \{0, 1\}^{\infty}$とする．

3.1 A field and a $\sigma$-field of subsets of $\{0 ,1\}^{\infty}$

$\mathcal{F}_n$を最初の$n$回のコイントスの結果を見れば，起きたか否かわかるeventの集合とする．例えば，$\{\omega | \omega_1=1, \omega_2 \neq \omega_4\}$は$\mathcal{F}_4$の元であり，同時に$\mathcal{F}_k, k \geq 5$．の元でもある．
任意の$B \subset \{0, 1\}^{\infty}$に，
$$A=\{\omega \in \{0, 1\}^{\infty} | (\omega_1, ..., \omega_n) \in B\}$$
を考えると，$A = B \times \{0, 1\}^{\infty}$とできて，$A \in \mathcal{F}_n$．また$\mathcal{F}_n$の元はこの形で書ける．

Exercise 5

$\mathcal{F}_n$は$\sigma$-fieldであることを示せ

答案．

1. $A = \{\omega | (\omega_1, ..., \omega_n) \in \phi\} = \phi$　(これをどう解釈すればいいだろう)
2. $A = \{\omega | (\omega_1, ..., \omega_n) \in B\}$とする．
   $A^c = \{\omega| (\omega_1, ..., \omega_n) \notin B\} = \{\omega| (\omega_1, ..., \omega_n) \in B^c\}$
3. $A_i = \{\omega| (\omega_1, ..., \omega_{n(i)}) \in B_i \}$が$i \in \mathbb{N}$で成立するなら，
   $\cup_i A_i = \{\omega|(\omega_1, ..., \omega_{\min\{n(i)\}}) \in B$. ここで，$B$は各$B_i$から最も短いものの長さを$\min\{n(i)\}$としたとき全ての$B_i$の，$\min\{n(i)\}$までを考えたときの和集合である．

さて，$\mathcal{F}_n$は，最初の$n$回しか考えていないので，$\{0, 1\}^{\infty}$には小さすぎる．$\mathcal{F}_0 = \cup_n \mathcal{F}_n$とすれば，$A \in \mathcal{F}_0$は，一旦$n$を固定すれば$A$が起きるか否かが決定するということ．

Example

$A_n = \{ \omega| \omega_n = 1\} \in \mathcal{F}_n$である．$A = \cup_i A_i$とすると，無限回のコイントスで少なくとも一回は”1”がでるというeventとなる．$\forall n A \notin A_n$である．補集合を考えると，これは無限界のコイントスの結果が$0$の無限列であるというeventに対応する．$A^c$もまたいかなる$\mathcal{F}_n$の元でない．
$\mathcal{F}_0$はfieldである(らしい)

$\mathcal{F} = \sigma(\mathcal{F}_0)$として，さらにprobability measureを与える．

3.2 A probability measure on $(\{0, 1\}^{\infty}, \mathcal{F})$

$\mathcal{F}_0$に$P_0$を$P_0 (\{0, 1\}^{\infty})=1$を満たすように与える．
$A \in \mathcal{F}_0$が$B \times \{0, 1\}^{\infty}$という形であるとき，$P_0(A) = |B|/2^n$として，measureを定める．これがconsistent(well-definedということ？)であることを示す．
$A \in \mathcal{F}_n, \mathcal{F}_m, n > m$であるとしても，$P_0(A)$が一意であると示す．
$A = B \times \{0, 1\}^\infty = C \times \{0, 1\}^\infty, B \subset \{0, 1\}^n, C \subset \{0, 1\}^m$とする．このとき，$B = C \times \{0, 1\}^{n-m}, |B|=|C|\cdot 2^{n-m}$と書ける．$P_0(A) = |B|/2^n$に$|B|=|C|\cdot 2^{n-m}$を代入して，$P_0(A) = |C|\cdot 2^{-m}$.よって示せた．
$P_0$は$\mathcal{F}_0$上でcountable additivityを満たしえいることが示せる.(証明略)
Carateodory’s Extension Theoremから，$\mathcal{F}=\sigma(\mathcal{F}_0)$上のmeasure $P$が定義できる．

4. Completion of a Probability Space

field $\mathcal{F}_0$とcountably additiveな$P_0$があるとき，Carateodory’s extension theoremによって$\mathcal{F} = \sigma(\mathcal{F}_0)$上のmeasure, $P$を与えられる．$\sigma(\mathcal{F}_0)$というのは$\mathcal{F}_0$を含む最小の$\sigma$-fieldであった．$\sigma(\mathcal{F}_0)$よりも少しだけ大きい$\sigma$-fieldにさらにmeasureを拡張したい．
$(\Omega, \mathcal{F}, P)$というprobability spaceがあって，$B \in \mathcal{F}$について，$P(B)=0$とする．このような$B$をnull setという．$A \subset B$ならば,かならず$0$とmeasureを与えられるように$\mathcal{F}$と$P$を拡張する．
(a) $\mathcal{N}$を全てのnull setの部分集合の集合族とする．
(b) $\mathcal{F}^{*} = \sigma(\mathcal{F} \cup \mathcal{N})$とする．
(c) $P$を,$(\Omega, \mathcal{F}^{*})$のmeasureとなるように自然に拡張する．すなわち，$A \subset B(;\text{null}) \Rightarrow P^{*}(A)=0$
このような拡張は必ず可能で，しかも一意である(証明略)

こうして全てのnull setの部分集合にもmeasure 0 を割り当てられているとき，そのprobability spaceはcomplete(完備)であるという.
$\Omega = [0, 1]$あるいは$\Omega = \mathbb{R}$で,$\mathcal{F}$をBorel fieldとするとき，その完備化$(\Omega, \mathcal{F}^{*}, P^{*})$について，
$\mathcal{F}^*$をLebesgue measurable setsといい，$P^*$は同じくLebesgue measureという．

MITじゃこれを90分でやるってマジ！？

Basic Analysis (Jiri Lebl) 32日目

CC BY-NC-SA 3.0

8.5 Inverse and implicit function theorem

$(X, d), (X', d')$という距離空間上の$f: X \rightarrow X'$がcontraction(縮小)写像である
$\Leftrightarrow$ $d'(f(x), f(y)) \leq kd(x,y)$が常に成り立つような$k$がある.

$f: X\rightarrow X$がcontractionで$X$がcompleteならば,ただ一つのfixed point(不動点)が存在することはChap.7 でみた．
関数がある点で微分可能であるというのは，その点の近くではその関数がその微分係数による線形写像の様に振る舞うということである．関数がある点で微分可能で，その周りでその導関数が可逆なら，もとの関数もまた局所的に可逆であるというのが,inverse function theoremの主張するところである．

Theorem 8.5.1 (Inverse function theorem)

$U \subset \mathbb{R}^n$で，$f: U \rightarrow \mathbb{R}^m$が連続微分可能とする．$p \in U$について$f(p) = q$で,$f'(p)$が可逆(すなわち$J_f (p) \neq 0$)であるなら,$V \subset \mathbb{R}^n$があって，$p \in V \subset U$．さらに$f_{|V}$が全単射であり，逆関数$g(y) = (f_{|V})^{-1}(y)$は連続微分可能であって，
$g'(y) = (f'(x))^{-1}$が$y \in f(V)$が成立する．

proof.

$A = f'(p)$とする．$f'$は連続だから，$p$を中心とした開球$V$があって，
$$\forall x \in V\ \ ||A -f'(x)|| \leq 1//2||A^{-1}||$$
が成立する．$f'(x)$は$V$において可逆である．
$y \in \mathbb{R}^n$があるとき，$\phi_y : C \rightarrow \mathbb{R}^n$で，
$$\phi_y(x) = x + A^{-1}(y - f(x))$$
とする．$A^{-1}$は全単射だから，$\phi_y (x) = x \Leftrightarrow y = f(x)$.chain ruleにより
$$\phi'_y (x) = I - A^{-1}f'(x) = A^{-1}(A-f'(x))$$
したがって$x \in V$に
$$\|\phi'_y(x)\| \leq ||A^{-1}||||A-f'(x)||<1/2$$
$V$は開球なので,凸．よって
$$\|\phi_y(x_1) - \phi_y (x_2)\| \leq \frac{1}{2} ||x_1 - x_2||$$
これは，$\phi_y$は$V$で縮小写像であることを意味している．fixed point theorem, Theorem 7.6.2の前提は$f: X \rightarrow X$なので，$\phi_y(V)=V$とは限らないからfixed point の存在は言えないが，たかだか1つ存在するということは言える．したがって$f_{|V}$は単写である．
$W = f(V)$とする．$W$が開であることを示さない(もうめんどくさくなった)

微積分の基礎の復習はここまで．以後は機械学習とプログラミングに注力しよう．（広すぎ）

Gamarnik, Tsisiklis. Fundamentals of Probability 01日目 測度空間と確率測度

David Gamarnik, and John Tsitsiklis. 6.436J Fundamentals of Probability. Fall 2008. Massachusetts Institute of Technology: MIT OpenCourseWare, https://ocw.mit.edu. License: Creative Commons BY-NC-SA.

Probablistic Models and Probability Measures

1. Probabilistic Experiments

結果が不確定な現象や実験を解析するには確率モデルを使う.確率モデルは形式的には$(\Omega, \mathcal{F}, P)$と書かれprobability space(確率空間)と呼ばれる.probability spaceは以下の性質を持つ.
(a) $\Omega$は実験によって生じうる結果の集合で,sample space(標本空間)という.
(b) $\mathcal{F}$は$\sigma$-加法性(後述)をもつ$2^{\Omega}$の部分集合で,$\sigma$-fieldという.
(c) $P$は$\mathcal{F} \rightarrow [0, 1]$なる写像で,probability measure(確率測度)という.

これらの性質の詳細を議論する.

2. Sample Space

sample spaceは生じうる結果すべての集合$\Omega$で,$\Omega$のある要素を$\omega$と表して,elementary outcomeとか,単にoutcomeという(素事象という言い方が有るがあまり使われないようだ.ふつう日本語では標本とか標本点と呼ぶ).$\Omega$はMutually Exclusive and Collectively Exhaustive(MECE:つまり,重複無く,漏れなく)なければならない.
例
(a)サイコロを1回ふる実験を考えるとき,sample spaceは$\Omega = \{1, 2, ..., 6\}$で,$\omega = 2$はサイコロをふって2が出るという事象を表している.
(c)サイコロを無限回ふる実験を考えるとき,$\Omega = \{1, ..., 6\}^{\infty}$であって,$\omega = ( 3, 1, 1, 5, ...)$というような無限列である.
(d) 実験が乗り物の無限精度の速度とすると,$\Omega = \mathbb{R}$である.

3. Discrete Probability Spaces

抽象的な議論の前に,さいころの試行のような,最も単純なタイプのprobability spaceを考える.
$|\Omega| \leq |\mathbb{N}|$なprobability spaceをdiscrete probability spaceという.

Definition 1.

$(\Omega, \mathcal{F}, P)$がdiscrete probability spaceである$\Leftrightarrow$以下の(a),(b),(c)が成立する.
(a) $\Omega = \{\omega_1, ...\}$
(b) $\mathcal{F} = 2^{\Omega}$
(c) $\forall \omega \in \Omega$に$P(\{\omega\})$が定義されていて, $$P(A)=\sum_{\omega \in A} P(\{\omega\})$$ が任意の$A \in \mathcal{F}=2^{\Omega}$に成立し, $$\sum_{\omega \in \Omega} P(\{\omega\}) = 1$$
である.

$P(\{\omega\})$を単に$P(\omega)$と書き,$P(\omega_i)$を$p_i$とも書く.

Examples

(a) コイントスを考えるとき表が出る事象を$H$,裏が出る事象を$T$とする.
$\Omega = \{\omega_1=T, \omega_2 = H\}$として,
$p_1=p_2=1/2$,$\mathcal{F}=\{\phi, \{H\}, \{T\}, \{H, T\}\}$,
$P(\phi)=0, P(H)=P(T)=1/2, P(\{H, T\}) = 1$である.

(c)
$\Omega = \{1, 2, 5, a, v, aaa, *\}, \mathcal{F}=2^{\Omega}$,
$P(1)=P(2)=0.1, P(5)=0.3, P(a)=0P(v)=0.15, P(aaa)=0.2, P(*)=0$
としても,物理的な意味はないがdiscrete probability spaceである.

(e)
$\Omega=\mathbb{N}$として$\lambda > 0$を固定し,$p_k = e^{-\lambda}\lambda^k /k!$とすると,$(\Omega, 2^{\Omega}, P)$はdiscrete probability spaceである.

(g)
さいころを$n$回ふる実験を考える.$\Omega =\{1, ..., 6\}^n$であって,どの目が出る確率も同様に確からしいと仮定すると,$P(\omega)=1/6^n$が任意の$\omega \in \Omega$に成立する.

4. $\sigma$-FIELDS

$|\Omega| > |\mathbb{N}|$のときはdiscrete probability spaceと異なり,$\mathcal{F}$は$2^{\Omega}$とは限らないが,必ず$\sigma-$加法性という性質を満たさなければならない.
つまり,確率は$\Omega$の部分集合のうち,特に”よい”性質を持つものにのみ定義される.

Definition 2.

$\Omega$: a setに対して,$\mathcal{F}$が$\Omega$の$\sigma$-field($\sigma$加法族,$\sigma$代数, $\sigma$体)である$\Leftrightarrow$以下の(a),(b),(c)を満たす.
(a) $\phi \in \mathcal{F}$
(b) $A \in \mathcal{F}$なら$A^c \in \mathcal{F}$
(c) $\{A_i\} \subset \mathcal{F}$なら$\cup_i A_i \in \mathcal{F}$
$A \in \mathcal{F}$をeventといい,これを$\mathcal{F}$-measurable setか,単にmeasureable setという.$(\Omega, \mathcal{F})$を**measurable space(可測空間)という.

試行のうち,$\omega \in A$が生じたとき,event $A$が起きたという.

Exercise 1.

(1) $A, B \in \mathcal{F}$なら$A \cap B \in \mathcal{F}$を示せ.
(2) $\mathcal{F} \neq \phi$であるなら,definition 1の(a)を(b),(c)によって導け.
答案.

(1) $A \cap B = (A^c \cup B^c)^c \in \mathcal{F}$
(2) $A \in \mathcal{F}$に,(b)から$A^c \in \mathcal{F}$, (c)から$A \cup A^c= \Omega \in \mathcal{F}$であって,また(b)によって$\phi = \Omega^c \in \mathcal{F}$である.

Examles

(a) 自明な$\sigma$-field, $\mathcal{F} = \{\Omega, \phi\}$
(b) $\mathcal{F} = \{ \phi, A, A^c, \Omega\}$は$A$を$\Omega$の固定された部分集合として,$\sigma$-field.
(c) $\mathcal{F} = 2^{\Omega}$は$\sigma$-field
(d) サイコロを$n$回ふる実験を考える.$\Omega = \{1, ..., 6\}^n$とする.
$A = \{ \omega = (\omega_1, ..., \omega_n)| \omega_1 \leq 2\}$
$B = \{ \omega = (\omega_1, ..., \omega_n)| 3 \leq \omega_1 \leq 4\}$
$C = \{ \omega = (\omega_1, ..., \omega_n)| 5 \leq \omega_1 \}$
とするとき,
$\mathcal{F} = \{ \phi, A, B, C, A\cup B, A \cup B, B \cup C, \Omega\}$は$\sigma$-algebra.

Proposition

$S$を添字集合として,$\{\mathcal{F}_s\}_{s \in S}$はすべて同じsample space$\Omega$の$\sigma$-fieldとする.$\mathcal{F} = \cap_{s \in S} \mathcal{F}_s$は任意の$\mathcal{F}_s$の部分集合である最大の$\sigma$-fieldである.
proof.

$\forall s\ \ \phi, \Omega \in \mathcal{F}_s$だから,$\phi, \Omega \in \mathcal{F}$
$A \in \mathcal{F}$なら$\forall s A \in \mathcal{F}_s$ゆえ,$\forall s A^c \in \mathcal{F}_s$.同様に$\{A_i\} \subset \mathcal{F} \Rightarrow \cup \{A_i\} \in \mathcal{F}$がいえる.

さて,$\mathcal{C}$を$\Omega$の部分集合たちの属であるとする.$\mathcal{C}$を含む含むような最少の$\sigma$-fieldを考える.$\mathcal{C} \subset 2^{\Omega}$だから,最大のものは存在する.$\mathcal{C}$を含むすべての$\sigma$-filedの積集合$\mathcal{F}$を考えれば良い.
つまり,$\mathcal{H}$を$\mathcal{F}$を含む任意の$\sigma$-filedとすると$\mathcal{F} \subset \mathcal{H}$であり,これが最少の意味である.このように構成された$\mathcal{F}$を$\mathcal{C}$がらgenerate(生成された)$\sigma$-field といい,$\sigma(\mathcal{C})$と書く.

5. Probability Measures

eventに対してその確率を与える方法を議論する.$|\Omega| > |\mathbb{N}|$のときが問題で,$\mathcal{F}$が$\sigma$-加法性をみたさなければならない.また,割り当てられる確率もまた特別な条件を満たす必要が有る.probability measureの前に,より一般的にmeasureの性質を議論する.

Definition 3.

$(\Omega, \mathcal{F})$はmeasurable spaceとする.関数,$\mu: \mathcal{F} \rightarrow [0, \infty]$がmeasureである$\Leftarrow$以下の(a),(b)を満たす.
(a) $\mu(\phi)=0$
(b) (Countable additivity, 可算加法性)$\{A_i\} \subset \mathcal{F}$が互いに素であるとき,$\mu(\cup_i A_i) = \sum_{i=1}^\infty \mu(A_i)$が成立する.

さらに,$P$がmeasureであるとき,$P$がprobabilty measureである$\Leftrightarrow P(\Omega)=1$(Axiom of Probability)

$A \in \mathcal{F}$に,$P(A)=1$であるとき,event $A$はalmost surely(ほとんど常に)起こるという.$A=\Omega$は自明な例である.しかし,$P(A)=1$は$A=\Omega$と同値ではない.
$A_1, A_2, ...$というeventsがあって,同時にたかだか1つしか起こらないとする.このとき”どれか一つが起こる”という確率は,それぞれの起こる確率の和であるというのが,countable additivityの意味である.measureはもともと体積の一般化として導入された.一般なmeasureでは,体積無限大の立体を考えれば,measureが$\infty$であるとこは不自然ではないが,probability measureでは特に$P(\Omega)=1$を要求する.

Proposition 2.

Probability measureは以下の性質を持つ.
(a) (Finite additivity) $A_1, ..., A_n$が互いにであるとき,$P(\cup_i^n A_i)=\sum_{i=1}^n P(A_i)$
(b) $P(A^c)=1-P(A)$
(c) $A \subset B \Rightarrow P(A) \leq P(B)$
(d) (Unioin bound) $\{A_i\} \subset \mathcal{F}$なら,
$$P(\cup_{i \geq 1} A_i) \leq \sum_{i \geq 1} P(A_i)$$
(e) (Enclusion-exclusion formula) $A_1, ..., A_n \in \mathcal{F}$に,
$$\begin{aligned} P(\cup_1^n A_i) = \sum_1^n P(A_i) - \sum_{i < j} P(A_i\cap A_j) \\ + \sum_{i<j<k} P(A_i\cap A_j \cap A_k) + \cdots +(-1)^n P(A_1 \cap \cdots \cap A_n)\end{aligned}$$

proof.

(a) countable additivityの集合列で,$n+1$以上を$\phi$にすれば示せる.
(b) $A \cap A^c = \phi$から,$P(A)+P(A^c)=1$
(c) $A, B \in \mathcal{F}$なら$B \backslash A \in \mathcal{F}$であって,$B\backslash A \cap A=\phi$から,$P(B) =P(A)+P(B \backslash A)\geq P(A)$である.
(d) $\{A_i\}_i$が互いに素である時は統合が成立する.$A_j \cap A_k \neq \phi$であるような$A_j, A_k$があってほかはすべて互いに素であるとき,$\cup A_i = \cup_{i\neq j, k} A_i \cup (A_j\backslash A_k) \cup (A_k \backslash A_j) \cup (A_j \cap A_k)$ (別に$A_j \cap A_k = \phi$でも成立するが) 両辺の測度をとって,
$P(\cup A_i) = \sum_{i \neq k,j} P(A_i) + P(A_j\backslash A_k) +P(A_k \backslash A_j) + P(A_j \cap A_k) \leq \sum_i P(A_i)$が成立する.互いに素でない集合がいくつあっても同じことである.
(e) 後日

Finite Additivity

Definition 4.

$\Omega$をsample spaceとする.

(a) $\mathcal{F}_0 \subset 2^{\Omega}$とする.$\mathcal{F}$がfieldである$\Leftrightarrow$
1. $\phi \in \mathcal{F}$
2. $A \in \mathcal{F} \Rightarrow A^c \in \mathcal{F}$
3. $A,B \in \mathcal{F} \Rightarrow A \cup B \in \mathcal{F}$

(b) $\mathcal{F}_0$は$\Omega$のfieldとする.$P:\mathcal{F}_0 \rightarrow [0,1]$がfinite additive $\Leftrightarrow [ A, B \in \mathcal{F}_0, A \cap B = \phi \Rightarrow P(A \cup B) = P(A) + P(B)]$

Countinuity of Probabilities

$\Omega = \mathbb{R}$とする.$A_n = [1, n]$は$A=[1, \infty)$に収束する.よって確率を考えても,$P([1, n]) \rightarrow P([1, \infty))$が望まれる.Continuity of probability measuresによってこの性質が導かれる.

Theorem 1. (Continuity of probability measures)

$\mathcal{F}$を$\Omega$の$\sigma$-fieldとする.$P: \mathcal{F} \rightarrow [0,1]$が$P(\Omega)=1$であって,finite additivity propertyが成立するなら,以下は同値である.
(a) $P$はprobability measureである.
(b) $\{A_i\}$が単調増加してその極限が$A=\cup A_i$であるとき,$\lim P(A_i) = P(A)$
(c) $\{A_i\}$が単調減少して$A = \cap A_i$に収束するとき, $\lim P(A_i) = P(A)$
(d) $\{A_i\}$が探鳥減少して$\cap A_i =\phi$であるとき$\lim P(A_i) = 0$

proof.

(a) => (b)
$A = A_1 \cup (A_2 \backslash A_1) \cup (A_3 \backslash A_2) \cup ...$と,互いに素な集合列の和にできる.このとき
$$\begin{aligned} P(A) &= P(A_1) + \sum_{i \geq 2} P(A_i \backslash A_{i-1}) \\ &=p(A_1)+ \lim_n \sum_{i \geq 2} P(A_i \backslash A_{i-1}) \\ &=P(A_1) + \lim_n \sum_{i \geq 2} (P(A_i)-P(A_{i-1})) \\ &=P(A_1) + \lim_n (P(A_n) - P(A_1)) \\ &= \lim_n P(A_n)\end{aligned}$$
以下略