Basic Analysis (Jiri Lebl) 14日目 テイラー展開

CC BY-NC-SA 3.0

Taylor’s theorem

4.3.1 Derivatives of higher orders

$f: I \rightarrow \mathbb{R}$が微分可能なとき,一次導関数$f'$が定義できる.さらに$f'$が微分可能なとき,二次導関数$f''$が定義できる.これを続けていけばn微分可能である限りn次導関数が定義できて,それを$f^{(n)}$と書く.

4.3.2 Taylor’s theorem (テイラー展開)

平均値の定理の拡張としてテイラー展開を考えることができる.
$f(x)$の定義域の中の点$x_0$の近くで,$f$を$f(x_0)$によって近似する.
$$f(x) = f(x_0) + f'(c)(x-x_0)$$
が中間値の定理により成立するが,$c$を$x_0$とすると,誤差が生じる.この誤差をより高次な微分係数を使って近似していく.

Definition 4.3.1

n回微分可能な$f$が$x_0$の近くで定義されているとき,n次テイラー多項式を
$$P^{x_0}_n(x) = \sum_{k=0}^n \frac{f^{(k)}(x_0)}{k!} (x-x_0)^k$$
と定める.
このとき,テイラー多項式の$k$次導関数(今後,$k$次導関数を$k$次微分とも呼ぶことにする)は
$$P_n^{x_0 (k)}(x)=\sum_{i=0}^n \frac{f^{(i)} (x_0)}{i!} k!(x-x_0)^{i-k}$$
であって,$x=x_0$とすると,$P_n^{x_0 (k)}(x_0)=f^{(k)}(x_0)$.

Theorem 4.3.2 (Taylor)

$f: [a, b] \rightarrow \mathbb{R}$がn次までの導関数が連続で,$f^{(n+1)}$は$(a, b)$で定義されているとする.
$$f(x) = P^{x_0}_n (x) + \frac{f^{(n+1)}(c)}{(n+1)!} (x-x_0)^{n+1} =\left( \sum_{k=0}^n \frac{f^{(k)} (x_0)}{k!} (x-x_0)^k + \frac{f^{n+1}(c)}{(n+1)!} (x-x_0)^{n+1}\right)$$
が$x, x_0 \in (a,b)$を選ぶたびに$c \in(x, x_0)$を選べば成立する.
$R_n^{x_0} := \frac{f^{(n+1)}}{(n+1)!}(x-x_0)^{n+1}$をラグランジュの剰余項という.
proof.

$$f(x) = P^{x_0}_n (x) + M_{x, x_0} (x-x_0)^{n+1}$$
を満たす$M_{x,x_0}$を見つける.
$$g(s) = f(s) - P^{x_0}_n(s) - M_{x,x_0} (s-x_0)^{n+1}$$
とすると$P_n^{x_0 (k)}(x_0)=f^{(k)}(x_0)$だから,$s=x_0$のとき
$$g(x_0)=g'(x_0)=\cdots =g^{(n)}(x_0)=0$$
$g(x_0)=0, g(x)=0$が成り立つので,平均値の定理より$x_1 \in (x_0, x)$があって,$g'(x_1)=0$が成立する.$g'$にも平均値の定理を適用して,$g'(x_0)=g'(x_1)=0$から$x_2 \in (x_0, x_1)$があって,$g''(x_2)=0$が成立する.これを繰り返して,$g^{(n+1)}(x_{n+1})=0$となる$x_{n+1} \in (x_0, x)$がある.
$c = x_{n+1}$とすると,$P_n^{x_0}$が$n+1$回微分すると0になるから,
$$g^{(n+1)}(s) = f^{(n+1)}(s) - (n+1)!M_{x, x_0}$$
$s=c$とすれば,$M_{x, x_0} = \frac{f^{(n+1)}(c)}{(n+1)!}$が成立する.

Basic Analysis (Jiri Lebl) 13日目 平均値の定理

CC BY-NC-SA 3.0

4.2 Mean value theorem

4.2.2 Roll’s theorem

Theorem 4.2.3 (Roll’s theorem)

連続関数$f:[a, b] \rightarrow \mathbb{R}$が$(a, b)$で微分可能で,$f(a)=f(b)$なら,$f'(c)=0$なる$c \in (a, b)$がある.
proof.

$f$が$[a, b]$上の定数関数なら$\forall c \in (a, b) \ \ f'(c)=0$.
そうでなければ,Theorem 3.2.2 (Minimum-Maximum-theorem)から,$f$は$[a, b]$上で最大値をもつ.Theorem 4.2.2から,最大値を取る点$c$で$f'(c)=0$.

4.2.3 Mean value theorem

Theorem 4.2.4 (Lagrange’s Mean value theorem)

$f: [a, b] \rightarrow \mathbb{R}$が連続で,$(a, b)$で微分可能とする.
$$f(b)-f(a)=f'(c)(b-a)$$
をみたす$c \in (a, b)$が存在する.
proof.

$$\begin{aligned} g(x)&=f(x)-f(b)+(f(b)-f(a))\frac{b-x}{b-a} \\ g'(x)&=f'(x)- \frac{f(b)-f(a)}{b-a} \end{aligned}$$
とすれば,$g(a)=g(b)=0$が成立して,Rollの定理から$g'(c)=f'(c)-\frac{f(b)-f(a)}{b-a}=0$なる$c \in (a, b)$が存在する. 変形すれば,$f(b)-f(a)=f'(c)(b-a)$である.

4.2.4 Applications

Proposition 4.2.5

区間$I$があって,$f: I \rightarrow \mathbb{R}$が微分可能で$f'(x)=0$が常に成立するなら,$f$は$I$上で定数関数である.
proof.

$x, y \in I, x < y$を任意にとって,$[x, y]$で平均値の定理を適用すると,$f(y)-f(x)=f'(c)(y-x)=0$.よって定数関数.

Proposition 4.2.6

区間$I$があって,$f: I \rightarrow \mathbb{R}$が微分可能で
(i) $f'(x)\geq 0$が常に成立するなら,$f$は$I$上単調増加.
(ii) $f'(x)\leq 0$が常に成立するなら,$f$は$I$上単調減少.
proof. 略

Proposition 4.2.8

$f: (a, b) \rightarrow \mathbb{R}$が連続で,$c\in (a,b)$があって,$f$は$(a, c), (c, b)$で微分可能とする.このとき
(i) $x \in (a, c) \Rightarrow f'(x) \leq 0, \ x \in (c, b) \Rightarrow f'(x) \geq 0$なるとき,$f$は$c$で最小値を取る.
(ii) $x \in (a, c) \Rightarrow f'(x) \geq 0, \ x \in (c, b) \Rightarrow f'(x) \leq 0$なるとき,$f$は$c$で最大値を取る.
proof.

(ii)を証明する.
$x$を$(a, c)$上の点とし, $\{y_n\}$は$x < y_n < c$で,$c$に収束する列とする.Prop 4.2.6から,$(a, c)$で単調増加するから,$f(x) \leq f(y_n)$. $f$の連続性から$\forall x \in (a, c) \ f(x) \leq f(c)$同様に,$\forall x \in (c, b) \ \ f(x) \leq f(c)$.よって示せた.

4.2.5 Continuity of derivatives and the intermediate value theorem

関数の導関数における中間値の定理.

Theorem 4.2.9 (Darboux)

$f: [a,b] \rightarrow \mathbb{R}$が微分可能とする.$f'(a) < y < f'(b)$か$f'(a) > y > f'(b)$なる$y$が存在するとき,$f'(c)=y$なる$c \in (a, b)$が存在する.
proof.

$f'(a) < y < f'(b)$とする. $g(x)=yx - f(x)$とすると$g$は$[a, b]$で連続であって,ある$c$で最大値を取る.
$g'(x) = y - f'(x)$とすると,$g'(a) > 0$である.よって
$$\frac{g(x)-g(a)}{x-a} > 0$$
なる$x>a$がある(微分の定義を思い出せ).$x>a$だから$g(x)>g(a)$.よって$g(a)$は$g$の最大値足り得ない.同様に$g(b)$も$g$の最大値たりえず,$g(c) = \max g$なる$c \in (a, b)$があって,Theorem 4.2.2から,$g'(c)=0$.したがって$f'(c)=y$.

中間値の定理によって,連続関数には中間値性があることがわかっている.非連続関数にも中間値性をもつものがあるが,微分可能な関数の導関数は非連続であっても中間値性がある.

Basic Analysis (Jiri Lebl) 12日目 微分の定義

CC BY-NC-SA 3.0

Chapter 4. The Derivative

4.1 The derivative

4.1.1 Definition and basics properties

Definition 4.1.1

$I$:区間, $f: I \rightarrow \mathbb{R}, c \in I$について，
$$L := \lim_{x \rightarrow c} \frac{f(x)-f(c)}{x-c}$$
が存在するとき，$f$は$c$で微分可能であり，$L$を$f$の$c$における微分係数といい，$f'(c)=L$と書く．
$\forall c \in I$で微分可能なとき，単に$f$は微分可能という．

Proposition 4.1.4

$f: I \rightarrow \mathbb{R}$が$c \in I$で微分可能なら，$c$で連続．
proof.
$$\lim_{x \rightarrow c} \frac{f(x)-f(c)}{x-c}=f'(x) \mbox,{ ~~~~~ and~~~~~ } \lim_{x \rightarrow c} (x-c)=0$$
が存在することがわかっているから，$f(x)-f(c) = (f(x)-f(c))/(x-c) \cdot (x-c)$の極限は
$\lim (f(x)-f(c)) = \lim \frac{f(x)-f(c)}{x-c} \lim (x-c) = f'(c)\cdot 0 = 0$
したがって$\lim_{x \rightarrow c} f(x)=f(c)$すなわち$f$は$c$で連続．

Proposition 4.1.5

$f: I \rightarrow \mathbb{R}, g: I \rightarrow \mathbb{R}$が$c$で微分可能なとき，
(i) $\forall \alpha \in \mathbb{R}$に， $\alpha f(x)$は$c$で微分可能．
(ii) $f(x)+g(x)$は$x=c$で微分可能．
proof. 略

Proposition 4.1.6 (Product rule)

4.1.5と同じ条件のもとで，
$h(x) = f(x)g(x)$とすると，$h$は$c$で微分可能で，$h'(c)=f(c)g'(c)+f'(c)g(c)$が成立する．
proof.
$$\frac{f(x)g(x)-f(c)g(c)}{x-c} = \frac{(g(x)-g(c))f(x)}{x-c} + \frac{g(c)(f(x)-f(c))}{x-c}$$
両辺で$\lim_{x \rightarrow c}$をととると，$\lim f(x), \lim \frac{g(x)-g(c)}{x-c}, \frac{f(x)-f(c)}{x-c}$が存在するから示せた．

Proposition 4.1.7 (Quotient rule)

4.1.6の条件かつ$g(x) \neq 0$のとき，$h(x) = f(x)/g(x)$とすると，
$$h'(x) = \frac{f'(c)g(c) - f(c)g'(c)}{g(c)^2}$$
proof. 略

4.1.2 Chain rule

Proposition 4.1.8 (Chain rule)

$I_1, I_2$は区間で，$g: I_1 \rightarrow I_2$が$c \in I_1$で微分可能で,$f: I_2 \rightarrow \mathbb{R}$が$g(c) \in I_2$で微分可能で，$h(x)=f(g(x))$とするとき，$h$は$c$で微分可能であって,
$$h'(c) = f'(g(c))g'(c)$$
が成立する．

proof. 略

4.1.3 Exercises

Exercise 4.1.11

$f: I \rightarrow \mathbb{R}$が有界で，$g: I \rightarrow \mathbb{R}$は$c \in I$で微分可能であり，$g(c)=g'(c)=0$とする．$h(x):=f(x)g(x)$が$c$で微分可能であると示せ．

$$\frac{f(x)g(x)-f(c)g(c)}{x-c} = \frac{(g(x)-g(c))f(x)}{x-c} + \frac{g(c)(f(x)-f(c))}{x-c}$$
であるが，$M=\sup|f(x)|$($\max$でもよい)とすると，右辺第一項で
$$\left| \frac{(g(x)-g(c))f(x)}{x-c} \right| \leq M \left| \frac{(g(x)-g(c))}{x-c} \right|$$
から，この項は$x\rightarrow c$で$0$に収束する．
一方，右辺第二項で，$g(c)=0$からこの項は常に0
よって$h(x)$は$c$で微分可能で，微分係数は$0$.

Exercise 4.1.12

$f, g, h : I \rightarrow \mathbb{R}$について，$c\in I$で$f(c)=g(c)=h(c)$が成り立ち，$g, h$は$c$で微分可能で，$g'(c)=h'(c)$とする．さらに$\forall x \in I \ \ h(x) \leq f(x) \leq g(x)$ならば$f$も$c$で微分可能で$f'(c)=g'(c)=h'(c)$であることを示せ.

$$\frac{h(x)-h(c)}{x-c}, \frac{f(x)-f(c)}{x-c}, \frac{h(x)-h(c)}{x-c}$$
について，$f, g, h$の大小関係から，
$$\frac{h(x)-h(c)}{x-c} \leq \frac{f(x)-f(c)}{x-c} \leq \frac{h(x)-h(c)}{x-c}$$
が常に成立する($f(c)=g(c)=h(c)$を使った)
一番左の項と一番右の項が$x \rightarrow c$で同じ値に収束するから，真ん中の項も同じ値に収束する．よって示せた(数列のはさみうちの原理(squeeze lemma)はやったけど関数の極限のはさみうちの原理はやってない気がする)．

4.2 Mean value theorem

4.2.1 Relative minima and maxima

Definition 4.2..1

$f: S \rightarrow \mathbb{R}$が$c \in S$で極大値をとる
$\Leftrightarrow$ $|x - c | < \delta$ならば$f(x) \leq f(c)$となるような$\delta > 0$が存在する．
極小値も動揺に定義される．

Theorem 4.2.2

$f: [a, b] \rightarrow \mathbb{R}$が$c \in (a, b)$で微分可能で$c$で極小となるとき，$f'(c)=0$
proof.

$$f'(c) = \lim_{x \rightarrow c} \frac{f(x)-f(c)}{x-c}$$
であるが，$c$で$f$は極小だから，分子は常に非負．一方分母は$c$の周辺で符号を変えうるから，$f'(c)=0$.極大のときも同様．

微分可能な$f$で，$f'(c)=0$となる$c$をcritical pointという．一方，定義域に微分不可能な点を含む関数について,$c$で微分不可能なときにも$c$はcritical pointであるという．この定理は，閉区間上で定義された関数が$c$で極値をとるなら，$c$は$f$のcritical pointであると主張している．

Linear Algebra (D. Cherney et al.) 4日目

CC BY-NC-SA 3.0

Chapter 5. Vector Spaces (ベクトル空間)

ベクトル空間は，加算とスカラー倍に閉じた集合のこと．

Definition. Vector space

２つの演算$+, \cdot$が定義された集合$V$が$\mathbb{R}$をスカラーとしてベクトル空間である
$\Leftrightarrow$ $u , v, w \in V, c, d, \in \mathbb{R}$とすると，以下のすべてが同時に成立
(+i) (Additive Closure) $u + v \in V$
(+ii) (Additive Commutativity) $u + v = v + u$
(+iii) (Additive Associativity) $(u + v) + w = u + (v + w)$
(+iv) (Zero) $u + 0_V = u$がすべての$u$に成り立つような特別な元$0_V$がある(零元という)
(+v) (Additive Inverse) すべての$u \in V$に， $u + v = 0_V$となるような$v$がある．$v$を$-u$とも書く．
($\cdot$ i) (Multiplicative Closure) $c \cdot v \in V$
($\cdot$ ii) (Distributivity) $(c + d) \cdot v = c \dot v + d \dot v$
($\cdot$ iii) (Distributivity) $c (u + v) = c \cdot u + c \cdot v$
($\cdot$ iv) (Associativity) $(c \cdot d) \cdot v = c \cdot (d \cdot v)$
($\cdot$ v) (Unity) $1 \cdot v = v$ for all $v \in V$

代数学でいう体(field)との違いは，スカラーを別の(同じでもいいが)集合から持ってくること．

5.1 Examples of Vector Spaces

Example 58

$$\mathbb{R}^\mathbb{N} = \{ f | f: \mathbb{N} \rightarrow \mathbb{R}\}$$
$(f_1 + f_2)(n) = f_1(n) + f_2(n), (cf)(n) = c(f(n))$とすれば，たしかにベクトル空間となっている．
この空間のそれぞれの元は実数列と考えることができる.

Example 59

$$\mathbb{R}^\mathbb{R} = \{ f | f: \mathbb{R} \rightarrow \mathbb{R}\}$$
58と同様にベクトル空間である．

Example 61

$$\{ f: \mathbb{R} \rightarrow \mathbb{R} | \frac{d}{dx}f \mbox{が存在する}\}$$
もまた58の演算によってベクトル空間となる．

Example 62 (Solution set to a homogeneous linear equation)

$M = \left( \begin{array}{} 1 & 1 & 1 \\\ 2 & 2 & 2 \\\ 3 & 3 & 3 \end{array}\right)$とすると，$Mx=0$の解は$\{ c_1 \left( \begin{array}{} -1 \\ 1 \\ 0 \end{array}\right) + c_2 \left( \begin{array}{} -1 \\ 0 \\ 1 \end{array}\right) | c_1 , c_2 \in \mathbb{R}\}$
この解空間もまたベクトル空間である．$\mathbb{R}^3$の部分集合だから，部分空間とも呼ぶ．

Basic Analysis (Jiri Lebl) 11日目 無限大の極限

CC BY-NC-SA 3.0

3.5 Limits at infinity

3.5.1 Limits at infinity

Definition 3.5.1

$S \subset \mathbb{R}$に，どのような大きな$M \in\mathbb{R}$をとっても$x > M$なる$x\in S$があるとき，$S$は$\infty$を集積点に持つ．またこのとき$f: S \rightarrow \mathbb{R}$で，$L\in \mathbb{R}$があって，任意の$\epsilon>0$に$x > M \Rightarrow |f(x) - L|< \epsilon$となるような$M$が存在するとき$f$は$x$が無限大に近づくとき$L$に収束するといい，$f_{x\rightarrow \infty} (x) = L$と書く．
$x \rightarrow -\infty$や$f_{x \rightarrow -\infty} (x) =L$も同様に定義される．

Proposition 3.5.2

Def 3.5.1と無限大での極限を定義するとき，その極限は一意．
proof. 略

Lemma 3.5.5

Def 3.5.1の条件のもとで，$\{x_n\}$を$x_n \rightarrow \infty$なる任意の列とすると，
$\lim_{x \rightarrow \infty} f(x) = L \Leftrightarrow \lim_{n \rightarrow \infty} f(x_n) = L$

proof. 略

3.5.2 Infinite limit

Definition 3.5.6

$f: S \rightarrow \mathbb{R}$について，どのような大きな$N$にも，$x > M \Rightarrow f(x) >N$となるような$M$があるとき，$f$は$x$が無限大に近づくとき$+\infty$に発散するといい，$f_{x\rightarrow \infty} (x) = \infty$と書く．

3.5.3 Compositions

Proposition 3.5.8

$f: A \rightarrow B, g: B \rightarrow \mathbb{R}, A,B \subset \mathbb{R}$で，$a,b \in \mathbb{R} \cup \{\pm \infty\}$はそれぞれ$A, B$の集積点であって，
$$\lim_{x \rightarrow a} f(x) = b, \ \ \ \ \lim_{y \rightarrow b} g(y) = c$$
であり，かつ$b \in B$なら
$$\lim_{x \rightarrow a} g(f(x)) = c$$
が成立する．

proof. 略

Basic Analysis (Jiri Lebl) 十日目 一様連続性

CC BY-NC-SA 3.0

3.4 Uniform continuity (一様連続)

Definition 3.4.1

$S \subset \mathbb{R}, f:S \rightarrow \mathbb{R}$が一様連続である
$\Leftrightarrow \forall \epsilon \ \ \exists \delta \ \ \mbox{s.t.} \ \ |x-y|<\delta \Rightarrow |f(x)-f(y)|< \epsilon$

Example 3.4.3

$f: [0, 1] \ni x \mapsto x^2$は一様連続．
proof.

$0 \leq x, c \leq 1$とすると，$|x^2-c^2|=|x+c||x-c|\leq(|x|+|c|)|x-c|\leq 2|x-c|$
ゆえに$\delta < \epsilon/2$のとき，$|x-c|<\delta \Rightarrow |f(x)-f(c)|<\epsilon$から，たしかに一様連続．

一方で，$f: \mathbb{R} \ni x \mapsto x^2$は一様連続でない．
proof.

どのような小さな$\delta > 0$を予めとっても，$|(x+\delta/2)^2-x^2| \geq |x\delta |$から，$|x|$を大きくすることでどれほど大きな$\epsilon>0$にも$|f(x)-f(y)|\geq \epsilon$とできる．

Theorem 3.4.4

$f: [a, b] \rightarrow \mathbb{R}$が連続なら，$f$は$[a, b]$上一様連続．
proof. 略

3.4.2 Continuous extension

Lemma 3.4.5

$f: S \rightarrow \mathbb{R}$は一様連続とする．$\{x_n\}$が$S$上のコーシー列なら，$\{f(x_n)\}$も$\mathbb{R}$上のコーシー列である．
proof.

$\epsilon >0$を固定する．$\delta > 0$があって，$|x-y|<\delta \Rightarrow |f(x)-f(y)|<\epsilon$.
$\{x_n\}$を$S$上のコーシー列とすると, $m, n \geq N \Rightarrow |x_m - x_n| < \delta$となる$N$があって，$m, n \geq N \Rightarrow |x_m-x_n|< \delta \Rightarrow |f(x_n)-f(x_m)|<\epsilon$が成立する．

Theorem 3.4.6

$f: (a,b ) \rightarrow \mathbb{R}$が一様連続
$\Leftrightarrow$ $L_a = \lim_{x\rightarrow a} f(x), L_b = \lim_{x \rightarrow b} f(x)$が存在して，
$$\tilde{f}(x) = \begin{cases} f(x) \ \ x \in (a, b) \\ L_a \ \ x=a \\ L_b \ \ x=b \end{cases}$$
が連続．

proof.

$\Leftarrow$ 略
$\Rightarrow \tilde{f}(x)$が$L_a$で連続であると示せば$L_b$も同様に言えるし，$(a, b)$で連続なのは明らかである．
$\{x_n\} \subset (a, b), x_n \rightarrow a$なる数列をとると，これはコーシー列．Lemma 3.4.5よりその像の列$\{f(x_n)\}$もコーシー列であって，ある極限$L_1$に収束する．また，$\{x_n\}$とは別に$\{y_n\} \subset (a, b), y_n \rightarrow a$をとると，同じ議論で極限$L_2 = \lim f(y_n)$があると示せる．$x_n, y_n$は任意に取ったから，$L_1 = L_2$を示せば，$L_a = \lim_{x \rightarrow a} f(x)$が存在すると言える．
$\epsilon >$について，$f$の一様連続性から$|x-y|<\delta \Rightarrow |f(x)-f(y)|< \epsilon$なる$\delta$があり，$n\geq M$ならば$|a-x_n|<\delta/2, |a-y_n|< \delta/2, |f(x_n)-L1|<\epsilon, |f(y_n)-L_2|<\epsilon$なる$M$があるから，
$$|x_n-y_n| \leq |x_n-a|+|a-y_n|<\delta$$
$$|L_1-L_2| \leq |L_1-f(x_n)|+|f(x_n)-f(y_n)|+|f(y_n)-L_2| \leq 3\epsilon$$
$\epsilon$は任意だから，$L_1=L_2$.よって$L_a=\lim_{x\rightarrow a} f(x)$は存在する．
$\tilde{f}$の定義から，$\tilde{f}$は$a$に置いて連続と示せた．

3.4.3 Lipschitz continuous functions

Definition 3.4.7

$f: S \rightarrow \mathbb{R}$がリプシッツ連続である
$\Leftrightarrow \exists K \ \ \mbox{s.t.} \ \ \forall x, y \in S \ \ \ |f(x)-f(y)|\leq K |x-y|$

Proposition 3.4.8

リプシッツ連続関数は一様連続関数である
proof. 略

Linear Algebra (D. Cherney et al.) 三日目

CC BY-NC-SA 3.0

Chapter 4. Vectors in Space, n-Vectors

$n$次元ベクトル$a = \left( \begin{array}{} a^1 \\ a^2 \\ \vdots \\a^n \end{array}\right)$
と書く.この本では右上に第$i$要素と示す添え字を乗せる.

4.1 Addition and Scalar Multiplication in $\mathbb{R}^n$

ベクトルの足し算とスカラー倍の定義

4.2 Hyperplanes

$u, v \in \mathbb{R}^d$において，$u$を通って$v$と平行な直線$L$は
$$L = \{u + t v | t \in \mathbb{R}\}$$
と書ける．$u$をある点$P$と考えて，$L=\{P + tv\}$と書くこともできる．

0ベクトルでない$u, v \in \mathbb{R}^d$が平行でないとき,$u, v$は$\{su + tv| s, t \in \mathbb{R}\}$によって原点を通る平面を定める．また，ある点$P$を通り，かつ$\{su + tv\}$に平行な平面は$\{P + su + tv\}$と書ける．

Definition

$\{v_i \}_{i=1}^n$が一次独立$\Leftrightarrow [\sum \lambda_i v_i = 0 \Leftrightarrow \forall i \lambda_i=0]$

Definition

$k$本の一次独立なベクトル$v_1, ..., v_k \in \mathbb{R}^n$と点$P \in \mathbb{R}^n$があって，$k \leq n$なら，$k$次元の超平面(hyperplane)
$$\{ P + \sum_{i=1}^k \lambda_i v_i | \lambda_i \in \mathbb{R}\}$$

が定義できる．$k$が明示されていないとき，多くの場合は$k=n-1$である．すなわち，超平面はもとの空間を２つの空間に分ける．

Directions and Magnitudes

$$||v|| := \sqrt{\sum_{i=1}^n (v^i)^2}$$
を$n$次元ベクトル$v$のユークリッドノルムという．
$u, v \in \mathbb{R}^n$に，$||u-v||^2 = ||u||^2 + ||v||^2 - 2||u||||v|| \cos \theta$が成立するから，
$$\begin{aligned} ||u||||v|| \cos \theta &= \frac{1}{2} \left( ||u-v||^2 - ||u||^2 - ||v||^2 \right) \\ &= \sum_i [(v^i -u^i)^2 -(u^i)^2 - (v^i)^2] \\ &= \sum_i -2u^i v^i \end{aligned}$$
したがって
$$||u||||v|| \cos \theta = \sum u^iv^i$$

Definition Dot product (ドット積)

$u = (u^1 , ... , u^n)^T, v=(v^1, ..., v^n)^T$に,内積$u \cdot v = \sum u^iv^i$とする．

Definition ベクトルの長さ(norm, magnitude)

$v \in \mathbb{R}^n$の長さを$||v||:= \sqrt{v \cdot v}$で定めると，節頭で定義したユークリッドノルムと一致する．

Definition orthogonal, perpendicular (直行)

$u \cdot v = 0$なるとき，ベクトル$u, v \in \mathbb{R}^n$は直行するという．

以上ではドット積からノルムや直行を定義したが，ドット積の一般化にinner product(内積)という概念があり，内積はいくらでも考えられる．ドット積の代わりにある内積を使うと，同じベクトルだがノルムが違ったり，直行していたベクトルが直行しなくなったりする．とりあえずこの本では特に指定がなければドット積から定義されたノルムや直交性を考えれば良いようだ．内積は一般に$\langle u,v \rangle$と書く．

Definition Inner product (内積)

複素数で定義したほうがいいのかもしれないが，とりあえず実数でやる．
$\langle u,v \rangle: \mathbb{R}^n \times \mathbb{R}^n \rightarrow \mathbb{R}$がノルムである
$\Leftrightarrow \mbox{(1)} \langle v,v \rangle = 0 \Leftrightarrow v = 0 \\ \ \ \ \ \ \mbox{(2)} \forall \alpha \in \mathbb{R} \ \ \langle (\alpha u+ v), w \rangle = |\alpha| \langle u,w\rangle + \langle v, w \rangle \\ \ \ \ \ \ \mbox{(3)} \forall \alpha \in \mathbb{R} \ \ \langle u, (\alpha v + w) \rangle = |\alpha| \langle u,w\rangle + \langle u, w \rangle \\ \ \ \ \ \ \mbox{(4)} \langle u, v \rangle = \langle v, u \rangle \\ \ \ \ \ \ \mbox{(5)} \langle v, v \rangle \geq 0$

Theorem 4.3.1 (Cauchy-Schwartz Inequality)

ベクトル$u, v \neq 0$と内積$\langle u,v \rangle$があるとき，
$$|\langle u, v \rangle| \leq ||u||||v||$$
proof.

$\alpha \in \mathbb{R}$に，
$$0 \leq \langle u+\alpha v, u + \alpha v \rangle = \langle u, u \rangle + 2\alpha \langle u,v \rangle + \alpha^2 \langle v,v\rangle$$
が成立する．$\alpha$の二次式と考えて最小値をとるような$\alpha$を考えると,$\alpha = - \langle u,v \rangle / \langle v, v \rangle$で，代入して
$$0 \leq \langle u, u \rangle - \frac{\langle u, v \rangle}{\langle v, v \rangle} \Leftrightarrow \langle u, v\rangle ^2 \leq \langle u,u \rangle \langle v, v \rangle \Leftrightarrow |\langle u , v \rangle| \leq ||u||||v||$$

Theorem 4.3.2 Triangle Inequality (三角不等式)

$u, v \in \mathbb{R}^n$に$|| u + v|| \leq ||u|| + ||v||$
proof.

$$\begin{aligned} ||u + v||^2 &= (u + v) \cdot (u + v) \\ &= u \cdot u + 2u \cdot v + v \cdot v \\ &= ||u||^2 + ||v||2 + 2||u||||v|| cos \theta \\ &= (||u||+||v||)^2 + 2||u||||v||(cos \theta - 1) \\ & \leq (||u|| + ||v||)^2\end{aligned}$$

4.4 Vectors, Lists and Functions: $\mathbb{R}^S$

$$\mathbb{R}^n =\{ \left( \begin{array}{} a^1 \\ \vdots \\ a^n \end{array} \right) | a^1, ...., a^n \in \mathbb{R} \}$$
であるが，$a$を$a: \{1, ..., n\} \rightarrow \mathbb{R}$という任意の写像とするとき，
$$R^n = \{ a: \{1, ... n\} \rightarrow \mathbb{R}\} = : \mathbb{R}^{\{1, ..., n\}}$$
とも書ける．このように，集合$S$について，$S$から$\mathbb{R}$への写像すべての集合を考えることで，
$$\mathbb{R}^S = \{f: S \rightarrow \mathbb{R}\}$$
とすることができる．