Basic Analysis (Jiri Lebl) 32日目

CC BY-NC-SA 3.0

8.5 Inverse and implicit function theorem

$(X, d), (X', d')$という距離空間上の$f: X \rightarrow X'$がcontraction(縮小)写像である
$\Leftrightarrow$ $d'(f(x), f(y)) \leq kd(x,y)$が常に成り立つような$k$がある.

$f: X\rightarrow X$がcontractionで$X$がcompleteならば,ただ一つのfixed point(不動点)が存在することはChap.7 でみた．
関数がある点で微分可能であるというのは，その点の近くではその関数がその微分係数による線形写像の様に振る舞うということである．関数がある点で微分可能で，その周りでその導関数が可逆なら，もとの関数もまた局所的に可逆であるというのが,inverse function theoremの主張するところである．

Theorem 8.5.1 (Inverse function theorem)

$U \subset \mathbb{R}^n$で，$f: U \rightarrow \mathbb{R}^m$が連続微分可能とする．$p \in U$について$f(p) = q$で,$f'(p)$が可逆(すなわち$J_f (p) \neq 0$)であるなら,$V \subset \mathbb{R}^n$があって，$p \in V \subset U$．さらに$f_{|V}$が全単射であり，逆関数$g(y) = (f_{|V})^{-1}(y)$は連続微分可能であって，
$g'(y) = (f'(x))^{-1}$が$y \in f(V)$が成立する．

proof.

$A = f'(p)$とする．$f'$は連続だから，$p$を中心とした開球$V$があって，
$$\forall x \in V\ \ ||A -f'(x)|| \leq 1//2||A^{-1}||$$
が成立する．$f'(x)$は$V$において可逆である．
$y \in \mathbb{R}^n$があるとき，$\phi_y : C \rightarrow \mathbb{R}^n$で，
$$\phi_y(x) = x + A^{-1}(y - f(x))$$
とする．$A^{-1}$は全単射だから，$\phi_y (x) = x \Leftrightarrow y = f(x)$.chain ruleにより
$$\phi'_y (x) = I - A^{-1}f'(x) = A^{-1}(A-f'(x))$$
したがって$x \in V$に
$$\|\phi'_y(x)\| \leq ||A^{-1}||||A-f'(x)||<1/2$$
$V$は開球なので,凸．よって
$$\|\phi_y(x_1) - \phi_y (x_2)\| \leq \frac{1}{2} ||x_1 - x_2||$$
これは，$\phi_y$は$V$で縮小写像であることを意味している．fixed point theorem, Theorem 7.6.2の前提は$f: X \rightarrow X$なので，$\phi_y(V)=V$とは限らないからfixed point の存在は言えないが，たかだか1つ存在するということは言える．したがって$f_{|V}$は単写である．
$W = f(V)$とする．$W$が開であることを示さない(もうめんどくさくなった)

微積分の基礎の復習はここまで．以後は機械学習とプログラミングに注力しよう．（広すぎ）

Basic Analysis (Jiri Lebl) 31日目

CC BY-NC-SA 3.0

8.3 The derivative

この節で,$U$は$U\subset \mathbb{R}^n$で，開集合とする．

8.3.1 The derivative

$f: \mathbb{R} \rightarrow \mathbb{R}$において，
$$\lim_{h \rightarrow 0} \frac{f(x+h) - f(x)}{h}$$
が存在するとき，それを$f$の$x$における微分係数というのだった．微分係数$a$が存在すると仮定すると，
$$\lim \left| \frac{f(x+h)-f(x)}{h} - a\right| = \lim \frac{|f(x+h)-f(x)-ah|}{|h|} = 0$$
が成立する．$a \in L(\mathbb{R}^1, \mathbb{R}^1)$であることに着目すると，$a$は$x$の近くで$f$を近似する線形作用素と言える．この考えを多次元の場合に拡張する．

Definition 8.3.1

$f: U \rightarrow \mathbb{R}^m$とする．
$f$が$x \in U$でdifferentiable(微分可能)
$$\Leftrightarrow \exists A \in L(\mathbb{R}^n, \mathbb{R}^m) \text{ s.t. } \lim_{h \rightarrow 0, h \in \mathbb{R}^n} \frac{||f(x+h)-f(x)-Ah||}{||h||} = 0$$
$Df(x) := A$とか，$f'(x)=A$と書き，$A$を$f$の$x$におけるderivativeという(訳語は色々あるが，微分係数か，単に微分と呼ぶことにする).$f$が$\forall x \in U$で微分可能なとき，単に$f$は$U$で微分可能であるという．

$f \mapsto f'$とする操作を微分するという．$A$が存在するならそれは一意(Prop 8.3.2)だから，
$f': U \rightarrow L(\mathbb{R}^n, \mathbb{R}^m)$は関数と考えることができて，$f$の導関数と呼ぶ．

Proposition 8.3.2.

$f: U \rightarrow \mathbb{R}^m$について，$x \in U$で，$A, B$がともに$f$の$x$における微分係数なら，$A=B$である．
proof.

$$\begin{aligned} \frac{||(A-B)h||}{||h||} &= \frac{||f(x+h)-f(x)-Ah - (f(x+h) - f(x) -Bh)}{||h||} \\ &\leq \frac{||f(x+h)-f(x)-Ah||}{||h||} + \frac{||f(x+h)-f(x)-Bh||}{||h||} \rightarrow 0\end{aligned}$$
ここで，$y = h /||h||$とすると$||y||=1$であり，，最左辺は,$||(A-B)y||$と書ける．
$(A-B)$の作用素ノルムが$0$だから，$A-B=0$,したがって$A=B$.

Proposition 8.3.5.

$f: U \rightarrow \mathbb{R}^m$が$p \in U$で微分可能なら，$f$は$p$で連続である．
proof.

略

Theorem 8.3.6 (Chain rule)

$V \subset \mathbb{R}^m$, open. $f: U \rightarrow \mathbb{R}^m, g: V \rightarrow \mathbb{R}^m$であって，
$f$は$p$で，$g$は$f(p)$で微分可能で，それぞれの微分係数を$A, B$とするとき，
$f \circ g$は$p$で微分可能で，その微分係数は$B \circ A$である．
proof. 略

8.3.2 Partial derivatives

Definition 8.3.7

$f: U \rightarrow \mathbb{R}$について，
$$\frac{\partial f}{\partial x_j} (x) := \lim_{h \rightarrow 0} \frac{f(x_1, ..., x_{j-1}, x_j + h, x_{j+1}, ..., x_n) - f(x)}{h} = \lim_{h\rightarrow 0} \frac{f(x+he_j) - f(x)}{h}$$
が存在するとき，$\frac{\partial f}{\partial x_j}(x)$を$f$の$x$における$x_j$に対するpartial derivative(偏微分係数)という．
$f: U \rightarrow \mathbb{R}^m$であるとき，$f_k$の$x$における$x_j$に対する微分係数を$\frac{\partial f_k}{\partial x_j}$と書く．

Proposition 8.3.8

$f: U \rightarrow \mathbb{R}^m$が$p \in U$で微分可能であるとき，
$f'(p) \in L(\mathbb{R}^n, \mathbb{R}^m)$であるが，これを$\mathbb{R}^n, \mathbb{R}^m$の標準基底を使って表現するとき，
$$f'(p) = \left[\begin{array}{} \frac{\partial f_1}{\partial x_]}(p) & \frac{\partial f_1}{\partial x_2}(p) & \cdots & \frac{\partial f_1}{\partial x_n}(p) \\ \frac{\partial f_2}{x_1}(p) & \cdots \\ \vdots \\ \frac{\partial f_m}{\partial x_1}(p) & \frac{\partial f_m}{\partial x_2}(p) &\cdots &\frac{\partial f_m}{\partial x_n}(p) \end{array} \right]$$
と書ける. これは
$$f'(p)e_j = \sum_{k=1}^m \frac{\partial f_k}{\partial x_j} (p) e_k$$
ということでもある．
$v = \sum_{j=1}^n c_je_j = (c_1, c_2, ..., c_n)$であるとき，
$$f'(p)v = \sum_{j=1}^n \sum_{k=1}^m c_j \frac{\partial f_k}{\partial x_j}(p)e_k = \sum_{k=1}^m \left( \sum_{j=1}^n c_j \frac{\partial f_k}{\partial x_j}(p) \right)e_k$$
である．
proof.

$j$を固定する．
$$\left\| \frac{f(p+he_j) - f(p) }{h} - f'(p)e_j \right\| = \frac{||f(p+he_j) - f(p) - f'(p)he_j||}{||he_j||}$$
$h \rightarrow 0$において，微分可能性より右辺は$0$に近づく．よって
$$\lim_{h \rightarrow 0} \frac{f(p+he_j) - f(p)}{h} = f'(p)e_j$$
が成立する．$f = (f_1, ..., f_m)$と書くとすると，
$$\frac{\partial f_k}{\partial x_j} (p) = \lim \frac{f_k(p+he_j) - f_k(p)}{h}$$
が存在して，$f'(p)e_j$に等しい．

一方で，それぞれの偏微分係数が存在しても，$f$が微分可能であるとは限らない．

8.3.3 Gradient and directional derivatives

$f: U \rightarrow \mathbb{R}$が微分可能とする．$f$のgradient(勾配)を
$$\nabla f(x) := \sum_{j=1}^n \frac{\partial f}{\partial x_j}(x) e_j= \left[ \frac{\partial f}{\partial x_1}(x), ..., \frac{\partial f}{\partial x_n} \right]^T$$
と定める.$\nabla$はナブラと読む．
$f'(x)v = \nabla f(x) \cdot v$が成立する．(行列$\times$ベクトルとベクトル$\times$ベクトル)
$\gamma:(a, b) \rightarrow \mathbb{R}^n$が微分可能で$\gamma((a, b)) \subset U$であるとき，このような関数とその像をcurve(曲線)という．$\gamma = (\gamma_1, ..., \gamma_n)$とすると，
$g(t) := f(\gamma(t))$が定義できて，$g$は微分可能である．
$$g'(t) = \sum_{j=1}^n \frac{\partial f}{\partial x_j} \frac{d \gamma_j}{dt} = \nabla f\cdot \gamma'$$
が成立する．

$x \in U$にある点が速度$t$でベクトル$u$方向に移動しているとき，$f(u)$の変化率を考える．
$\gamma(t) = x + tu$とすると，これはその点の軌跡を表す曲線であって，$\gamma(0)=x$である．
$\gamma'(t) = u$であって，そのchain ruleから
$$\frac{d}{dt} |_{t=0} [f(x+tu)] = (\nabla f)(x) \cdot u = \lim_h \frac{f(x+hu)-f(x)}{h}$$
が成立する．最左辺を$D_u f(x)$と書くことにする．
$(\nabla f) (x) \neq 0$とすると，Cauchy-Schwartzの不等式から
$$|D_u f(x) | \leq \| ( \nabla f) (x) \|$$
統合は$u$が$(\nabla f) (x)$の定数倍である時成立し，
$$u = \frac{(\nabla f) (x)}{\| (\nabla f) (x) \|}$$
である．このように，gradientはある関数が最も早く増大するような方向を向いている．

8.3.4 The Jacobian

Definition 8.3.9

$f: U \rightarrow \mathbb{R}^n$が微分可能であるとする．このとき，$f$のJacobian(ヤコビアン)を，
$$J_f (x) := \det (f'(x))$$
と定める．Jaobianは
$$\frac{\partial (f_1, ..., f_n)}{\partial (x_1, ..., x_n)}$$
と書かれることがある．行列式が幾何学的に面積や体積を表すのと同様に，Jacobianは写像が$\mathbb{R}^n$の元を$\mathbb{R}^n$に写すとき，もとの元に比べて像はどれほど引き伸ばされたり，押しつぶされているかの指標になる．

Basic Analysis (Jiri Lebl) 30日目

CC BY-NC-SA 3.0

8.2.2 Matrices

有限次元ベクトル空間$X, Y$があって，それぞれの基底を$\{x_1, ...,x_n\}, \{y_1, ..., y_m\}$とする．$A \in L(X, Y)$を行列によって表現する．
$A$は$X$の基底に対する像によって決まるから，
$$Ax_j = \sum_{i=1}^m a_{i\ j} y_i$$
が成立するように$\{a_{i \ j}\}_{1 \leq i \leq m, 1 \leq j \leq n}$を定めると，
$$A = \left[\begin{array}{} a_{1\ 1}& \cdots& a_{1 \ n} \\ a_{2\ 1} &\cdots & a_{2\ n} \\ \vdots \\ a_{m \ 1} & \cdots & a_{m\ n} \end{array}\right]$$
が成立する．(行列の基本用語の生命は省略する)

行列と線形写像は1体1に対応する．基底を変えれば，行列は異なった線形写像を表現することになる．
$X=\mathbb{R}^n, Y=\mathbb{R}^m$で，標準基底を用いるとき，Cauchy-Schwartzの不等式から
任意の$z = (c_1, ..., c_n) \in \mathbb{R}^n$に，
$$||Az||^2= \sum_{i=1}^m \left(\sum_{j=1}^n a_{ij}c_j\right)^2 \leq \sum_i (\sum_j a_{i, j}^2)(\sum_j {c_j}^2) = \sum_i (\sum_j a_{ij}^2) ||z||^2$$
したがって，$||A|| \leq \sqrt{\sum_i \sum_j a_{i j}^2}$が成立する．この右辺を$A$のnormと考えることもできて，Frobenius norm といい，$||A||_F$ と書く．

Proposition 8.2.7

$f: S \rightarrow \mathbb{R}^{nm}$が距離空間$S$において連続関数として，$f$の要素を行列として並べると，$f$は$S \rightarrow L(\mathbb{R}^n, \mathbb{R}^m)$である連続写像である．逆に，$f: L(\mathbb{R}^n, \mathbb{R}^m)$が連続である時，それの行列表現の要素は連続である．

8.2.3 Determinants

行列式の議論だが，面倒なので大半は省略して重要な事実を列挙する．

1. \det I = 1
2. $\det [x_1, ..., x_n]$はそれぞれの$x_j$に対して線形
3. $A$の2つの列を交換して$A'$としたとき，$\det A = \det A'$
4. $A$が相等しい列をもつとき，$\det A = 0$
5. $A$が0ベクトルを列に持つとき，$\det A = 0$
6. $A \mapsto \det A$は連続写像
7. $\det AB = \det A \det B$
8. $A \in L(X, X)$で，可逆なとき，$\det A^{-1}=(\det A)^{-1}$
9. $\det A^T = \det A$ したがって
10. 性質2~5は列を行と呼び変えても成立
11. 行列式は基底によらない．$\because$ $B$を基底の変換行列として，$B$は全単射で可逆．ゆえに$\det A = \det B^{-1} \det A \det B = \det A$

8.2.3 Exercises

Exercise 8.2.11

$X=\mathbb{R}[t]$を多項式空間とし，$D \in L(\mathbb{R}[t])$を微分作用素とする．
$P(t) = c_0 + c_1t + \cdots + c_n t^n$をにノルム$||P||:= \sup \{|c_j| : j=0 ,1, ...,n\}$を入れる．
a) これが確かにノルムであることを示せ.
b) $D$の作用素ノルムは非有界であると示せ．

答案.

a)
(i) $||P|| \geq 0, ||P||=0 \Leftrightarrow P = 0$は明らか．
(ii) $||\alpha P|| = \sup\{|\alpha c_j|\} = \sup\{|\alpha||c_j|\} = \alpha\sup\{|c_j|\} = \alpha ||P||$
(iii) $||P+Q|| = \sup \{|c_j + d_j|\} \leq \sup\{|c_j|\} + \sup \{|d_j|\} = ||P||+||Q||$ が成立．
以上より示せた．
b)
$t^n \in X, ||t^n||=1$である．$||Dt^n||=||nt^{n-1}||=n$ゆえ，$||D|| \geq n (\forall n \in \mathbb{N})$よって確かに$||D||$は非有界

8.2.12 (Prop 8.2.4の証明)

$X$は有限次元ベクトル空間で，$\{x_1, ..., x_n\}$をそのノルムとする．
a) $f: \mathbb{R}^n \rightarrow \mathbb{R}$, $f(c_1, ..., c_n) = ||c_1 x_1 +\cdots c_nx_n||$は連続と示せ.
b) $c \in \mathbb{R}^n, ||c||=1$であるとき，$m \geq ||c_1x_1 +\cdots + c_nx_n||\leq M$を常に満たす$m , M \in \mathbb{R}$が存在することを示せ．
c) $||c_1 x_1 + \cdots c_n x_n|| = 1$ ならば$\forall j||c_j|| \leq B$なる$B$が存在すると示せ．
d) (c)を使って，$X, Y$が有限次元ベクトル空間で$A \in L(X, Y)$なら$||A|| < \infty$を示せ．

答案.

b) $\{c: ||c||=1 \text{(Euclidean norm)}\}$は超球面で，閉集合である．さらに有界で有限次元だからコンパクトであって，a)で示した連続性より，最小値，最大値が$f$には存在する．
c) $c_j=n$である$j$が存在するとき，$f(c) \geq f(0, ..., n, ... 0) = n||x_j||$
$\{x_i\}$は基底だから，$||x_j|| > 0$.よって$f(c)$は非有界となり，$f(c)=1$に反する．

8.2.13

$X$を$\{x_1, ...,x_n\}$を基底とするベクトル空間で，ノルム$||\cdot ||$が入っているとする．
$c = (c_1, ..., c_n) \in \mathbb{R}^n$のノルム$||c||$は標準ユークリッドノルムとする．
a) 任意の$c$に$m ||c|| \leq ||c_1 x_1 + \cdots + c_nx_n|| \leq M||c||$である$0 <m , M$があると示せ．
b) $||\cdot ||_1, || \cdot ||_2$を$X$のノルムとするとき，$m , M > 0$があって，任意の$x \in X$に$m ||x||_1 \leq ||x||_2 \leq M||x||_1$が成り立つことを示せ．
c) $U \subset X$は，$||x-y||_1$を距離として開集合なら,$||x-y||_2$を距離としても開集合であることを示せ．

答案．

a)
$m := \min \{ ||x_j||\}$とする．$m\sum_j |c_j| \leq ||c_1 x_1 + ...+c_nx_n||$で，$||c|| \leq \sum_j |c_j|$から，$m||c|| \leq ||c_1x_1 + ... + c_nx_n||$が成立する．$M := \max\{||x_j||\}$とすれば，上で抑えられることもわかる．
b)
a)の証明の過程で，$m := \min\{ ||x_j||\}, M := \max \{||x_j||\}$としたが，それぞれでノルム$||\cdot||_1, ||\cdot||_2$を使ったときの$m, M$を$m_1, m_2, M_1, M_2$とするとき，
$m_1 ||c|| \leq ||c_1x_1 + ...||_1 \leq M_1 ||c||$
$m_2 ||c|| \leq ||c_1x_1 + ...||_2 \leq M_2 ||c||$
が成立する．任意の$x \in X$は$x= \sum c_j x_j$と書けて，$c= (c_1, ...,c_n)$と新たに定めると，
$m_1 ||c|| \leq ||x||_1 \leq M_1 ||c||, m_2 ||c|| \leq ||x||_2 \leq M_2||c||$が成立する．したがって，
$$\frac{m_2}{M_1} ||x||_1 \leq ||x||_2 \leq \frac{M_2}{m_1} ||x||_1$$
が成立する．
c)
$d_1(x, y) = ||x-y||_1, d_2(x, y) = ||x-y||_2$とする．
a)より，$d_2(x, y) \leq Md_1(x, y)$ なる$M>0$が存在する．
$x \in U$で，仮定より$U$が$d_1$によって開集合であるとすると，$d_1(x, y) < \epsilon$ならば$y \in U$なる$\epsilon$が存在する．$d_2(x, y) < \epsilon/M$ならば$y \in U$であるから，$d_2$によっても$U$は開集合である．

Basic Analysis (Jiri Lebl) 29日目

CC BY-NC-SA 3.0

8.2 Analysis with vector spaces

8.2.1 Norms

Chapter 7では距離空間について論じた．距離空間を導く概念にnorm(ノルム)がある．集合にnormを定めると，そのnormから距離関数を導ける．

Definition 8.2.1

$X$をベクトル空間とする．$|| \cdot || : X \rightarrow \mathbb{R}$が次の(i)~(iii)を満たすとき，それをノルムという．
(i) $||x|| \geq 0$が常に成立し，特に$x=0 \Leftrightarrow ||x||=0$
(ii) $c \in \mathbb{R}, x \in X$として，$||cx|| = |c| ||x||$
(iii) $\forall x, y \in X, ||x+y|| \leq ||x|| + ||y||$

$\mathbb{R}^n$における標準ノルムを定める前に，標準ドット積を定める．
$x = (x_1, ..., x_n), y = (y_1, .., y_n) \in \mathbb{R}^n$について，
$$x \cdot y := \sum_{j=1}^n x_j y_j$$
を標準ドット積という．標準ドット積の一般化が内積である．標準ドット積を$\mathbb{R}^n$における標準内積とも呼ぶ．Euclidean normを,
$$||x || := ||x||_{\mathbb{R}^n} := \sqrt{x \cdot x} = \sqrt{ (x_1)^2 + \cdots + (x_n)^2}$$
と定める．$\mathbb{R}^n$には様々なノルムが定義できるが，単にノルムというとこれのことを指す．

これがノルムの条件を満たすことを示す．(i),(ii)は明らかで，(iii)は前章で示したが，重要なのでもう一度証明することにする．

Theorem 8.2.2 (Cauchy-Schwartz inequality)

$x, y \in \mathbb{R}^n$について，
$$|x \cdot y| \leq ||x||||y|| = \sqrt{x \cdot x} \sqrt{y \cdot y}$$
が成立．
proof.

$x, y$の少なくとも一方が$0$なら明らか．$x\neq 0, y\neq 0$とする．
$y = \lambda x$と書けるとき，$|\lambda y \cdot y| = |\lambda| ||y||^2 = ||\lambda y||||y||$.そうでない場合，
$$||x + ty||^2 = ||x||^2 + 2t(x \cdot y) + t^2 ||y||^2$$
は常に正になるから，この方程式は実数根を持たない．ゆえに$t$に関して解の公式を使って，
$$(x \cdot y) ^2 - ||x||^2||y||^2 < 0$$
が成立する．根をとれば，Cauchy-Scwartzの不等式になる．　以上より示せた．

さて，$||x+y|| \leq ||x|| + ||y||$を示す．両辺を二乗し，
$$||x||^2 + ||y||^2 + 2(x \cdot y) \leq ||x||^2 + ||y||^2 + 2||x||||y||$$
を言えばよい．整理すれば直ちにCauchy-Scwartzの不等式と同値になる．

Definition

$$d(x, y) = ||x -y ||$$
は$\mathbb{R}^n$における標準距離関数である．
一般に，ベクトル空間$X$とノルム$|| \cdot ||$があるとき，$x, y \in X$の差$d:(x, y) \mapsto ||x-y||$はとして関数$d$を定めると$d$は$X$上の距離関数となる

Definition 8.2.3

$A \in L(X, Y)$とする．
$$||A || := \sup \{||Ax|| : x \in X, ||x||=1\}$$
この演算子をのoperator norm(作用素ノルム)という．$||\cdot||_{L(X,Y)}$とも書く．
$||A \frac{x}{||x||}||_{L(X,Y)}= \frac{||Ax||_{L(X,Y)}}{||x||}$だから，
$$|| A ||_{L(X,Y)} = \sup_{x \neq 0} \frac{||Ax||}{||x||}$$
である．したがって
$$||Ax|| \leq ||A||_{L(X,Y)} ||x||$$
が成立する．また，$||A||=0 \Leftrightarrow \forall x Ax = 0$である．

今はベクトル空間が有限次元であるときのみ考えるが，無限次元ではかなり話が違ってくるので注意する．

Proposition 8.2.4

$X, Y$: 有限次元ベクトル空間とする．
$A \in L(X, Y)$とすると，$||A|| < \infty$であり，かあつ$A$は$||A||$をLipschitz定数としてLipschits連続($\Rightarrow$一様連続)である．

proof.

$X=\mathbb{R}^n, Y =\mathbb{R}^m$で，ノルムは標準ノルムとする．
$L=\{e_1, ..., e_n\}$を$X$の標準基底とし，$x \in \mathbb{R}^n, ||x||=1$を$x = \sum_j c_j e_j$と書ける．
$c_j = x \cdot e_j$であって， $|c_j| = |x_\cdot e_j| \leq ||x||||e_j||=1$が成立する．よって
$$||Ax|| = \left\| \sum_j c_j Ae_j\right\| \leq \sum_j |c_j| \left\|Ae_j\right\| \leq \sum_j \left\|Ae_j \right\| < \infty$$
が三角不等式とSchwartzの不等式より成立する．

さらに，$A \in L(X, Y)$について，$||A||<\infty$とすると，$v, w \in X$に
$$\| A(v-w) \| \leq \|A\| \| v-w\|$$
すなわち$A$は$||A||$をLipschitz定数としてLipschitz連続である．

Proposition 8.2.5

$X, Y, Z$をノルムを入れた有限次元ベクトル空間とする．
(i) $A, B \in L(X, Y), c \in \mathbb{R}$とすと，
$$|| A+B || \leq ||A|| + ||B||, ||cA|| = |c| ||A||$$
(ii) $A \in L(X, Y), B \in L(Y, Z)$とすると，
$$||BA|| \leq ||B||| ||A||$$
proof.

(i)
$$||(A+B)x|| = ||Ax+Bx|| \leq ||Ax||+||Bx|| \leq ||A||||x||+||B||||x|| = (||A||+||B||)||x||$$
よって$||A+B|| \leq ||A|| + ||B||$. 後半もほとんど同様．

(ii)
$$||BAx|| \leq ||B|||||Ax|| \leq ||B|||||A||||x||$$
よって成立．

Proposition 8.2.6

$X$を有限次元なベクトル空間とする．$U \subset L(X)$を可逆な作用素の集合とする．
(i) $A \in U, B \in L(X)$で，$||A-B|| < 1 / ||A^{-1}||$ならば$B$は可逆である.
(ii) $U$は開集合で，$A \mapsto A^{-1}$は$U$上の連続関数である
proof.

(i)
$A, A^{-1}$は線形だから，
$$A^{-1}(A-B)x = x - A^{-1}Bx$$
故に
$$\begin{aligned} ||x|| &= \|A^{-1}(A-B)x + A^{-1}Bx \| \\ &\leq \|A^{-1}\|\|A-B\|\|x\|+\|A^{-1}\|\|Bx\|\end{aligned}$$
$x \neq 0$であれば$\|x\| \neq 0$であり，仮定より
$||x|| < ||x|| + ||A^{-1}||||Bx||$が成立する．$||A^{1-}|| \neq 0$から任意の$x\neq 0$に$||Bx|| \neq 0$である．すなわち$B$は単車であり，$B: X \rightarrow X$が単車で，$X$hは有限次元だから，$B$は全単射．よって可逆．
(ii)
$A \in U$を固定する．$B$は$A$に近く可逆とする．つまり，$\|A-B\| \|A^{-1}\| < 1 /2$であるとする．このとき$y =Bx$とすると
$$\|B^{-1} y\| \leq 2 \|A^{-1}\| \|y\|$$
が成立する．したがって，$||B^{-1}|| \leq 2 ||A^{-1}||$である．
$$||B^{-1} - A^{-1}|| = || A^{-1}(A-B)B^{-1}|| \leq ||A^{-1}||||A-B||||B^{-1}||\leq 2 ||A^{-1}||^2 ||A-B||$$
が成立するから，$B \rightarrow A$によって$||B^{-1}-A^{-1}|| \rightarrow 0$.たしかに逆関数をとる操作は連続である．

Basic Analysis (Jiri Lebl) 28日目

CC BY-NC-SA 3.0

8.1.4 Convexity

Definition (Convex set)

$(X, d)$をベクトル空間とする．$U \subset X$がconvex set(凸集合)である
$\Leftrightarrow$ $\forall x, y \in U \forall t \in [0, 1], tx + (1-t)y \in U$

Example 8.1.19

$C([0,1], \mathbb{R})$について，
$$\int^1_0 f \leq 1, \forall x f(x) \geq 0$$
を満たす$f$の集合を$X$とすると，$X$はconvexである．
proof.

$f, g \in X, t \in [0, 1]$とする．
$tf(x) + (1-t) g(x) \geq 0$は明らかであり，
$$\int^1_0 \left( tf+(1-t)g \right) = t\int^1_0 f + (1-t) \int^1_0 g \leq 1$$
よって示せた.

Proposition 8.1.20

$\{C_\lambda\}_\Lambda$を凸集合の集合族とすると，
$$C:= \cap_{\lambda \in \Lambda} C_\lambda$$
もまた凸集合.

proof. 略

Proposition 8.1.21

$T: V \rightarrow W$がベクトル空間間の線形写像とし，$C \subset V$を凸集合とすると，$T(C)$もまた凸集合である．
proof.

$p, q \in T(C)$を任意に取る．$Tx = p, Ty = q$なる$x, y \in C$がある．$C$は凸集合だから,任意の$t \in [0, 1]$に$tx + (1-t)y \in C$であって，$T(tx + (1-t)y)=tp +(1-t)q \in T(C)$
したがって確かに$T(C)$は凸集合である．

Definition convex full(凸包)

$S \subset V$について,$S$のconvex full(凸包)を
$$\text{co}(S) := \cap \{ C \subset V : S \subset C: C \text{ is convex}\}$$
と定める．つまり，$S$のconvex fullとは，$S$を含む最小の凸集合である．

Basic Analysis (Jiri Lebl) 27日目

CC BY-NC-SA 3.0

Chapter 8. Several variables and partial derivatives

8.1 Vector spaces, linear mappings, and convexity

8.1.1 Vector spaces

$n$次元ベクトル$v$を
$v= (v_1, ..., v_n) = \left[ \begin{array}{} v_1 \\ v_2 \\ \vdots \\ v_n \end{array} \right]$と書くことにする.本質的には$v$は縦ベクトルとする.
$\mathbb{R}^n$やその部分集合で定義された関数を考察するが,多くの場合定義域はベクトル空間である.

Definition 8.1.1

$X$には2つの演算,加算$+: X^2 \rightarrow X$とスカラー倍$\cdot: \mathbb{R} \times X \rightarrow X$が定義されていて,どちらの演算にも閉じているとき,$X$を(real) vector spaceという.
vector spaceの元をvectorという.

以後,$X$はすべてベクトル空間とする.

Example 8.1.4

$C([0,1], \mathbb{R})$は,
$f, g \in C([0,1], \mathbb{R})$に,$(f+g)(x)=f(x)+g(x)$,
$\alpha \in \mathbb{R}, f\in C([0,1]$に,$\alpha f(x) = \alpha \times f(x)$
と演算を定義すればベクトル空間となる.

Example 8.1.5

多項式$c_0 + \cdots c_m t^m, c_i \in \mathbb{R}$のなす集合を$\mathbb{R}[t]$とする.演算をEx. 8.1.4と同様に定義すると,$\mathbb{R}[t]$はベクトル空間となる.$\mathbb{R}[t]$は無限次元のベクトル空間である.

8.1.2 Linear combinations and dimension

Definition 8.1.6

$X$をベクトル空間とする.
$\{x_i\}_{i=1}^n \subset X, \{a_i\}_{i=1}^n \subset \mathbb{R}$,があるとき,
$$a_1 x_1+ \cdots a_n x_n$$
を$x_1, ..., x_k$のlinear combination(線型結合)という.
$Y \subset X$について,$Y$の有限な部分集合のつくるすべての線形結合の集合を$Y$のspan(はる空間)といい,$\text{span}(Y)$と書く.

Example 8.1.7

$Y = \{(1, 1)\} \subset \mathbb{R}^2$とすると,
$$\text{span}(Y) = \{(x, x) \in \mathbb{R}^2, x \in \mathbb{R}\}$$
であって,つまり原点と$(1, 1)$を通る直線である.

Proposition 8.1.9

任意の$Y \subset X$について,$\text{span}(Y)$はまたベクトル空間である.

Definition 8.1.10

$\{x_1, ... ,x_k\} \subset X$がlinearlyl independent(線形独立)
$\Leftrightarrow$ $[a_1x_1 + \cdots a_k x_k=0 \Leftrightarrow a_1=\cdots=a_k=0]$
線形独立でないとき,linealy dependentという.
$B \subset X$が線形独立かつ$\text{span}(B) = X$であるとき,$B$を$X$のbasis(基底)という.
$X$のうち$d$本のベクトルを線形独立になるように選べるが,$d+1$本のベクトルを線形独立となるように選べないとき,$X$は$d$-dimension(次元)であるという.任意の$d$に,かならず$d$本の線形独立なベクトルが選べるとき,$X$の次元は無限次元であるという.

Proposition 8.1.11

$B=\{x_1, ..., x_k\}$が$X$の基底である時,$X$の任意のベクトル$y$は,
$$y = \sum_{j=1}^k a_j x_j$$
と一意に書ける.
proof.

$$y = \sum a_j x_j = \sum b_j x_j$$
と書けるとすると,
$$\sum (a_j -b_j) x_j = 0$$
線形独立性から,$\forall j. a_j = b_j$.よって示せた.

Definition

$\mathbb{R}^n$について,$\{(1, 0, ...,0), (0, 1, ..., 0), ..., (0, 0, ...1)\}$は$\mathbb{R}^n$の基底である.この基底を$\mathbb{R}^n$のstandard basis(標準基底)という.

8.1.3 Linear mappings

この節では$X ,Y$はベクトル空間とする.
$f: X \rightarrow Y$について,$Y$が$\mathbb{R}$や$\mathbb{C}$でないとき,$f$をfunction(関数)ではなくmapping(写像)とよぶことが多い.

Definition 8.1.13

$A: X \rightarrow Y$がlinear(線形)である
$\Leftrightarrow \ \ \forall a \in \mathbb{R}, \forall x, y \in X, A(ax)=aA(x) \text{ and } A(x + y) = A(x) + A(y)$

$A(x)$を$Ax$と書くことにする.$A: X \rightarrow X$が線形であるとき,$A$はlinear operator(線形作用素)であるという.$X$から$Y$への線形写像の集合を$L(X, Y)$と書き,$L(X, X)$を特に$L(X)$と書く.

Proposition 8.1.14

$A \in L(X,Y)$が$A^{-1}$をもつとき,$A^{-1}$もまた線形である.
proof.

$A$は全単射だから,$y_1, y_2 \in Y$について,$y_1 = Ax_1, y_2 = Ax_2$なる$x_1, x_2$が必ず存在する.
$A^{-1}(\alpha y_1) = A^{-1}(\alpha Ax_1) = A^{-1}(A\alpha x_1)=\alpha x_1 = \alpha A^{-1}y_1$
$A^{-1}(y_1 + y_2) = A^{-1}(Ax_1 +Ax_2) = x_1 + x_2 = A^{-1}y_1 + A^{-1}y_2$
よって示せた.

Proposition 8.1.15

$A \in L(X, Y)$は$X$の基底における値がわかれば完全に決定できる.また,$B$を$X$の基底とするとき,$\tilde{A}: B\rightarrow Y$は$A \in L(X, Y)$に自然に拡張できる.

proof.

有限次元空間のみ考える.
$\{x_1, ...,x_k\}$を$X$の基底とする.$Ax_j = y_j$を定めると$A: X \rightarrow Y$が一意に決まるというのが命題の主張である.
$x \in X$は$x = \sum b_j x_j$と書ける.線形性から
$$Ax = A \sum b_j x_j = \sum b_j Ax_j$$
が成立して,たしかに$A$は$\{Ax_j\}$によって一意に定まる.後半はもはや明らかだろう.

Proposition 8.1.16

$X$は有限次元で,その上の線形作用素$A \in L(X)$が単射である$\Leftrightarrow$ $A$は全射
proof.

$\{x_1, ..., x_n\}$を$X$の基底とする.$A$が単射であるとき,
$a_1 Ax_1 + \cdots a_n A x_n=A(a_1 x_1 + \cdots + a_nx_n) = 0$の解を考えれば,$\{Ax_j\}_{j=1}^n$が一次独立であることがわかる.$\{Ax_j\}_{j=1}^n$も$X$の基底だから,$X$の任意の点は$\{Ax_j\}_{j=1}^n$の線型結合で書ける.よって$A$は全射である.
$A$を全射とする.$\{Ax_1, ..., Ax_n\}$は$X$を張る.
$A\sum c_j x_j = \sum c_j Ax_j=0$が成立するなら,$c_j=0$.すなわち$Ax=Ay$ならば$x-y=0 \Leftrightarrow x=y$

Proposiiont 8.1.17

$X, Y$が有限次元なら,$L(X, Y)$もまた有限次元のベクトル空間である.

proof. (Exercise 8.1.11)

Ex. 8.1.5と同じ演算を導入して,ベクトル空間であることは明らかなので,有限次元であることを示す.
$X, Y$の基底をそれぞれ$\{x_1, ..., x_n\}, \{y_1, ..., y_m\}$とする.
$$A_{j k} x_i = \begin{cases} y_k \ \ \ &(i = j) \\ 0 &(i \neq j)\end{cases}$$
なる作用素$A_{j k}$たちを定める.$\{A_{j k}\}_{1\leq j \leq n, 1 \leq k \leq m}$が$L(X,Y)$を張ることを示せばよい.
$A \in L(X, Y)$とする.Prop.8.1.15から,$\{Ax_j\}_{j=1}^n \subset Y$によって$A$は決定される.
$Y$はベクトル空間だから,$\{Ax_j\}$はそれぞれ$\{y_1, ..., y_m\}$の線型結合で書ける.
$$Ax_j = \sum_k a^j_k y_k$$
となるように$\{a^j_k\}$を定めると,任意の$X \ni x = b_1x_1 + \cdots b_n x_n$について,
$$Ax = \sum_j b_j \sum_k a^j_k y_k = \sum_{j k} b_j a^j_k y_k = \sum_{j k} b_j a^j_kA_{j k} x_j$$
が成立する.すなわち,
$$A=\sum_{j k} b_j a^j_k A_{j k}$$
と書ける.したがって確かに$L(X, Y) = \text{span}(\{A_{j k}\})$であり,以上より命題が示せた.

Basic Analysis (Jiri Lebl) 23日目 距離空間上の点列の極限

CC BY-NC-SA 3.0

7.3 Sequences and convergence

$(X, d)$は距離空間とする.

7.3.1 Sequences

Definition 7.3.1

$(X,d)$上の点列とは$x: \mathbb{N} \rightarrow X$という写像.$x(n)$を$x_n$と書く.また$x$を$\{x_n\}_{=1}^\infty$とも書く.
$\{x_n\}$が有界である
$\Leftrightarrow \ \exists p \in X, B \in \mathbb{R} \text{ s.t.} \forall n \in \mathbb{N} \ d(p, x_n ) \leq B$
部分列は数列の部分列と同じように定義する.

点列の収束は数列の収束の一般化で,数列の場合は絶対値を距離としたのを,その距離空間での距離に置き換えただけで,したがって殆どの数列の収束に関する定理は点列の場合でも成立する.

7.3.2 Convergence in Euclidean space

この節では,距離はすべてユークリッド距離とする.

Proposition 7.3.7

$\{x_j\}\subset \mathbb{R}^n$について,$x_j=(x_{j,1}, ...,x_{j,n})$と書くと,
$\{x_j\}$が収束する$\Leftrightarrow$ 任意の$k$に $\{x_{j,k}\}_j$が収束する.

proof.

$(\Rightarrow)$
$x_j \rightarrow y=(y_1, ..,y_n)$とする.任意の$\epsilon > 0$に$j\geq M \Rightarrow d(y,x_j)<\epsilon$なる$M$が存在する.
ある$k$を固定すると,$j \geq M \Rightarrow$
$$|y_k -x_{j,k}| = \sqrt{(y_k -x_{j,k})^2} \leq \sqrt{\sum_l (y_l-x_{j,l})^2} = d(y,d_j)<\epsilon$$
が成立するから,$\{x_{j,k}\}_j$は$y_k$に収束する.
($\Leftarrow$)
任意の$\epsilon$に,$j \geq M_k \Rightarrow |x_{j,k}- y_k| < \epsilon/\sqrt{n}$なる$M_k$が存在する.
$\infty > M :=\max \{M_k\}$が存在して,$j \geq M \Rightarrow d(x_j,y)=\sqrt{\sum_k |x_{j,k}-y_k|^2} < n \frac{\epsilon}{n} = \epsilon$から,たしかに$x_j \rightarrow y$.

7.3.3 Convergencec and topology

Proposition 7.3.8

$\{x_n\} \subset X$とする.$x_n \rightarrow x \in X$
$\Leftrightarrow$ $x$の任意の開近傍$U$について,$n\geq M$ならば$x_n \in U$なる$M$がある.
proof. 略

Proposition 7.3.9

$E \subset X$は閉集合で,$\{x_n\}\subset E$が$x \in X$に収束するなら$x \in E$.
proof. 略

Proposition 7.3.10

$A \subset X$で, $x \in \overline{A}$
$\Leftrightarrow x_n \rightarrow x$なる$\{x_n\} \subset A$が存在する.
proof.

$(\Leftarrow)$
$A \subset \overline{A}$とProp. 7.3.9から成立
$(\Rightarrow)$
Prop. 7.2.20から,$x_n \in B(x, 1/n) \cap A$が存在する.$\{x_n\}$の極限は$x$である.

Basic Analysis (Jiri Lebl) 22日目 極限と積分の順序交換

CC BY-NC-SA 3.0

6.2 INterchange of limits

6.2.1 Continuity of the limit

Theorem 6.2.2

$\{f_n\}$が連続関数の列で,$f$に一様収束するとき,$f$は連続.
proof. 略

6.2.2 Integral of the limit

Theorem 6.2.4

$\{f_n\}\subset \mathscr{R}[a,b]$で,$f$に一様収束するとき,$f\in \mathscr{R}[a,b]$で,$\int^b_a f = \lim \int^b_a f_n$.
proof.

$\epsilon>$を固定する.$\{f_n\}$は$f$に一様収束するから,$n\geq M \Rightarrow |f_n(x)-f(x)|<\frac{\epsilon}{2(b-a)}$なる$M$がある.
このとき$|f(x)|<\frac{\epsilon}{2(b-a)}+|f_n(x)|$であって,$f_n$の有界性より$f$も有界.
$$\begin{aligned}\overline{\int^b_a} f - \underline{\int^b_a} f &= \overline{\int^b_a} (f - f_n + f_n) - \underline{\int^b_a} (f - f_n + f_n) \\ &\underline{\leq}_{(1)} \overline{\int^b_a} (f -f_n) + \overline{\int^b_a} f_n - \underline{\int^b_a} (f-f_n) - \underline{\int^b_a} f_n \\ &=_{(2)} \overline{\int^b_a}(f-f_n) + \int^b_a f_n - \underline{\int^b_a} (f-f_n) - \int^b_a f_n \\ &\leq 2\frac{\epsilon}{2(b-a)}(b-a) = \epsilon \end{aligned}$$
が成立する.((1): Exercise 5.2.16, (2): $f_n$のリーマン可積性)
$\epsilon$は任意だから,$f$のダルブー上下積分は一致し,リーマン可積分.
さらに,Prop 5.1.10から,$n \geq M$で
$$\left| \int^b_a f - \int^b_a f_n \right| = \left|\int^b_a (f - f_n)\right| \leq \epsilon/2 < \epsilon$$
より,$\int^b_a f = \lim \int^b_a f_n$がたしかに成立.

Example 6.2.5

$$f_n = \frac{nx+\sin(nx^2)}{n},\ \ \lim_{n \rightarrow \infty} \int^1_0 f_n$$
を計算する.

$$|f_n-x| = \left| \frac{\sin(nx^2)}{n} \right|< |\frac{1}{n}| \rightarrow 0$$
より,$\{f_n\}$は$x$に一様収束する.
$\lim \int^1_0 f_n = \int^1_0 x = 1/2$.

Example 6.2.6

リーマン可積分関数列の各点収束極限がリーマン可積分でない例
$$f_n(x):= \begin{cases} 1 \ \ &(x=p/q, q \leq n\text{と書けるとき}) \\ 0 &(otherwise)\end{cases}$$
とすると,
$$f := \begin{cases} 1 \ \ &(x \in \mathbb{Q}) \\ 0&(x \notin \mathbb{Q})\end{cases}$$
に$[0,1]$上で各点収束する.
これはリーマン可積分でない.

6.2.3 Exercises

Definition

$\{x_{n,m}\}$を2次元数列とする.$L$がこの数列のjoint limitである
$\Leftrightarrow [\forall \epsilon\ \exists M\ n,m\geq M \Rightarrow |x_{n,m}-L|<\epsilon]$
このとき$L$を$\lim_{(n,m)\rightarrow \infty} x_{n,m}=L$と書く.

Exercise 6.2.13

$L=\lim_{n,m} x_{n,m}$とする.任意の$n$を固定したしたとき$\lim_m x_{n,m}$が存在し,$m$を固定したときも同様のことが言えるとする.このとき$L=\lim_n(\lim_m x_{n,m}) = \lim_m(\lim_n x_{n,m})$を示せ.
答案.

$y_n = \lim_m x_{n,m}$とする.
$$|x_{n,n} - y_n|\leq \underline{|x_{n,n} -L|}_{(0)}+ \underline{|L-x_{n,m}|}_{(1)} + \underline{|x_{n,m} - y_n|}_{(2)}$$
が常に成立する.
$\epsilon >0$を固定する.joint limitの存在より$n,m \geq N_1 \Rightarrow (0),(1) < \epsilon$なる$N_1$が存在する.
$y_n = \lim_m x_{n,m}$から,十分大きな$m$に$(2) < \epsilon$.
以上より$n \geq N_1 \Rightarrow |x_{n,n} -y_n|<3\epsilon$.
したがって$\{x_{n,n}\}_n$と$\{y_n\}=\{\lim_m x_{n,m}\}_n$の極限は等しく,$L$.
同様に$L=\lim_m (\lim_n x_{n,m})$.
以上により示せた.

Exercise 6.2.14

joint limitの存在は,$\lim_m x_{n,m}$や$\lim_n x_{n,m}$の存在を保証しない.
$$x_{n,m} := \frac{(-1)^{n+m}}{\min{n,m}}$$
とする.
(a)$\lim_m x_{n,m}$が存在しないこと, $\lim_n x_{n,m}$が存在しないことを示せ.(したがって$\lim_n (\lim_m x_{n,m}),\ \lim_{m} (\lim_n x_{n,m})$は意味を持たない)
(b) joint limitは$0$であることを示せ.
答案.

(a)
$n$を固定するとき,$m>n$について$x_{n,m}=(-1)^{n+m}/n$であって,$m$とともに振動して収束しない.よって$\lim_m x_{n,m}$は存在しない.もう一方も同様.
(b)
$\epsilon >0$とする.$N=\lceil{1/\epsilon}\rceil$とすると,$n,m\geq N \Rightarrow |x_{n,m}|<\epsilon$.よって示せた.

6.3 Picard’s Theorem

これまでに学んだすべてを使ってPicard’s theoremを証明する.ある常微分方程式のクラスの解の存在と一意性を与える定理であり,応用上も重要.wikipediaにあるピカールの定理とは違う定理で,Picard–Lindelöf theorem,Picard’s existence theorem or Cauchy–Lipschitz theoremとか呼ばれることもある.

6.3.1 First order ordinary differential equation

$y' = F(x,y)$という形の微分方程式を1階上微分方程式という.ふつう初期値$y(x_0)=y_0$を予め与えて,その条件のもとで解く.$F$が$x$のみの関数なら,微積分学の基本定理を使えば良いが,そうでないときは解が存在するとは限らない(存在すれば一意).

6.3.2 The Theorem

Definition 6.3.1

$U \subset \mathbb{R}^2$を定義域とする$F:U\rightarrow \mathbb{R}$を考える.$(x, y) \in U$で$F$が連続
$\Leftrightarrow$ $(x,y)$に収束する任意の列$\{x_n,y_n\}_n$について,$F(x_n,y_n)\rightarrow F(x,y)$.
$\forall x \in U$で連続なら,$F$は$U$で連続という.

Theorem 6.3.2 (Picard’s theorem on existence and uniqueness)

$I, J\subset \mathbb{R}$を有界閉区間とする.$I_0, J_0$を$I, J$の内部,$(x_0,y_0) \in I_0 \times J_0$とする.$f:I\times J \rightarrow \mathbb{R}$は連像で,2つめの引数についてリプシッツ連続とする.すなわち
$$\exists L \text{s.t. }\forall y, z \in J, x\in I \ \ \ |F(x,y) - F(x,z)| \leq L|y-z|$$
このとき,ある$h>0$と,で微分可能な$f:[x_0-h, x_0+h]\rightarrow J$で,$f'(x) = F(x,f(x)), f(x_0)=y_0$をみたす$f$がただ一つ存在する.

sketch.

条件を満たす$f$が存在すると仮定すると,$y_0=f(x_0)$と初期値を与えると微積分学の基本定理から
$$f(x) = y_0 + \int^x_{x_0} F(t, f(t)) dt$$
が成立する.右辺を近似して,極限で右辺の解に収束するような関数列$\{f_k\}$を考える.この手法をPicard iterationといい, $\{f_k\}$をPicard iteratesという.

proof.

$x_0=0$として一般性を失わない(Exercise 6.3.3).$|F(x,y)| \leq M$なる$M$が存在する.$[-\alpha, \alpha] \subset I, \ [y_0 -\alpha, y_0+\alpha]\subset J$なる$\alpha>0$を一つ取る.$h := \min\{\alpha, \alpha/(M+L\alpha)$とすると,$[-h,h] \subset I$.
$f_0(x)=y_0$から帰納的に$\{f_k\}$を定める.
$f_{k-1}([-h,h]) \subset[y_0-\alpha, y_0+\alpha]$であるとき,$F(t, f_{k-1}(t))$は$t\in [-h,h]$できちんと定義された関数であって(Exercise 6.3.2),$f_{k-1}$が$[-h,h]$で連続なら$F(t, f_{k-1}(t))$もまた$t \in [-h,h]$で連続(Exercise 6.3.1).
$$f_k(x) := y_0 + \int^x_0 F(t,f_{k-1}(t))dt$$
が存在して,$f_k$はまた微積分学の基本定理より$[-h, h]$で連続である.$x \in [-h,h]$で
$$|f_k(x)-y_0| = \left| \int^x_0 F(t, f_{k-1}(t))dt \right|\leq M|x|\leq Mh\leq M\frac{\alpha}{M+L\alpha} \leq \alpha$$
だから,$f_{k}$のrangeは$[y_0-\alpha, y_0+\alpha]$の部分集合.
こうして$\{f_k\}$を構成していく.$\{f_k\}$が題意を満たす$f$に収束することを示す.
$\{f_k\}$が$[-h,h]$である関数に一様収束することを示す.$t \in [-h,h]$に,
$$|F(t,f_n(t))-F(t,f_k(t))| \leq L|f_n(t)-f_k(t)| \leq L||f_n-f_k||u$$
が任意の$n,k$に成立し,$|x|\leq h \leq \alpha/(M+L\alpha)$だから,
$$\begin{aligned} |f_n(x)-f_k(x)| &= \left|\int^x_0 \left[ F(t,f_{n-1}(t))dt - F(t,f_{k-1}(t)) \right]dt \right| \\&\leq L||f_{n-1}-f_{k-1}||_u |x| \\ &\leq \frac{L\alpha}{M+L\alpha}||f_{n-1}-f_{k-1}||_u \end{aligned}$$
であって,$C:=L\alpha/(M+L\alpha)<1$とすれば$||f_n-f_k||_u \leq C||f_{n-1}-f_{k-1}||_u$
$n\geq k$として,$||f_n-f_k||_u \leq C^k ||f_{n-k} -f_0||_u$が成立し,
$||f_n-f_k\|_u \leq C^k ||f_{n-k}-f_0||_u \leq C^k \alpha$.
$C<1$だから$\{f_n\}$がuniform Cauchyで,$\{f_n\}$は$[-h,h]$である$f:[-h,h]\rightarrow \mathbb{R}$に一様収束する(このような$f$は一意).
$f$は連続関数の一様収束極限だから,連続であり,$f_n([-h,h]) \subset[y_0-\alpha,y_0+\alpha]$から,$f([-h,h]) \subset [y_0-\alpha, y_0+\alpha]$.
$f$がたしかに与えられた方程式の解であることを示す.
$$|f(t, f_n(t)) -F(t,f(t))| \leq L||f_n - f||_u$$
で,$||f_n-f||_u \rightarrow 0$から,$F(t, f_n(t))$は$F(t, f(t))$に一様収束する.
したがって$x\in [0,h]$で,$t \in [0,x]$
$$\begin{aligned} y_0 + \int^x_0 F(t, f(t)) dt &= y_0 + \int^x_0 F(t, \lim f_n (t)) dt \\&= y_0 + \int^x_0 \lim F(t, f_n(t)) \\ &= \lim_n \left(y_0 + \int^x_0 F(t,f_n(t))dt\right)\\ &= \lim_n f_{n+1}(x) = f(x) \end{aligned}$$
である.
微積分学の基本定理から,$f$は微分可能で導関数は$F(x,f(x))$.また$f(0)=y_0$.

6.3.4 Exercises

Exercise 6.3.1

$I, J \subset \mathbb{R}$を区間とする.$F: I\times J \rightarrow \mathbb{R}$が2変数の連続関数で,$f: I\rightarrow J$が連続なら,$F(x,f(x))$も$I$上連続と示せ.
答案.

$x_0$での連続性を示す.
$x_0$に収束する$\{x_n\}\subset I$を任意にとる.$f$の連続性から$\{f(x_n)\}$は$f(x_0)\in J$に収束する.
$(x_n, f(x_n))$は$(x_0,f(x_0))$に収束する$I\times J$に含まれる数列であって,$F$の連続性から任意の$\epsilon$に
$n \geq N \Rightarrow |F(x_n, f(x_n))-F(x_0,f(x_0))|< \epsilon$なる$N$がある.
これは$F(x,f(x))$の$x_0$での連続性と同値.

Exercise 6.3.2

$I, J \subset \mathbb{R}$は有界な閉区間とする.$F: I \times J \rightarrow \mathbb{R}$が連続なら,$F$は有界であると示せ.
答案.

非有界であるとして矛盾を導く.
$F(x_n,y_n)>n$を満たすような$\{(x_n,y_n)\}_n \subset I\times J$が存在する.Bolzano-Weierstrassの定理(多次元)から,収束する部分列$\{(x_{n_k}, y_{n_k})\}_k$がある.その極限を$(x_0,y_0)$とすると,$M:=F(x_0,y_0)$は有限値.一方$\{F(x_{n_k}, y_{n_k})\}$は発散する.これは$F$の連続性に反する.背理法によって示せた.

Basic Analysis (Jiri Lebl) 21日目 関数列の収束

CC BY-NC-SA 3.0

大概の本ではこの章の議論は数列の議論の直後にやる一方,関数のノルム収束は扱われないことが多い.

Chapter 6. Sequences and Functions

この章では$S: \text{a set}, \ \{f_n:S \rightarrow \mathbb{R}\}, f: S\rightarrow \mathbb{R}$とする.

6.1 Pointwise and uniform convergence

6.1.1 Pointwise convergence

Definition 6.1.1. (各点収束)

$\{f_n:S \rightarrow \mathbb{R}\}_n$が$f:S\rightarrow \mathbb{R}$にpointwise converge(各点収束)する
$\Leftrightarrow [\forall x \in S \ \forall \epsilon > 0 \ \exists N(x,\epsilon) \text{s.t.} n \geq N(x, \epsilon) \Rightarrow |f(x)-f_n(x)|<\epsilon]$
つまり、各$x$を固定したとき、数列$\{f_n(x)\}$が$f(x) \in \mathbb{R}$に収束するということ.

Example 6.1.4

$f_n(x) = \sin(xn)$とする.これは$x=k\pi\ \ (k \in \mathbb{N})$以外のすべての点でいかなる関数にも各点収束しない.
proof.

$x=k\pi \ \ (k \in \mathbb{N})$において,$f_n(x)=0$が常に成立するので,$0$に収束する.
それ以外の点でいかなる$N$をとっても,$n,m > N$で,$\pi/6 < \text{mod}(nx, 2\pi)< 5\pi/6,\ 7\pi/6 < \text{mod}(nx, 2\pi) < 11\pi/6$を満たす$n,m$が存在する.
このとき,$\sin(nx)-\sin(mx)>1$が成立する.よって$\{\sin(nx)\}_n \ \ (x \notin \pi \mathbb{N})$はコーシー列でないので,収束しない.

6.1.2 Uniform convergence (一様収束)

Definition 6.1.6

$\{f_n\}n$が$f$に一様収束する
$\Leftrightarrow [\forall \epsilon \ \exists N(\epsilon)\in\mathbb{N} \ \text{s.t.} n \geq N(\epsilon) \Rightarrow \forall x |f_n(x)-f(x)|<\epsilon]$

Proposition 6.1.7

$\{f_n\}$が$f$に一様収束するとき,$\{f_n\}$は$f$に各点収束する.
proof.

定義より明らか.

Example 6.1.8

$f_n(x) = x^{2n}$は$[-1, 1]$で各点収束するが一様収束しない.
proof.

$f(x) = \begin{cases} 0 \ \ \ (x \in (-1, 1)) \\ 1 \ \ \ (x \in \{-1,1\}) \end{cases}$
に各点収束するのは明らか.
一方,ある$f$に一様収束すると仮定する.$\epsilon = 1/2$とすると,$x \in (-1,1)$で,
$|f_N(x) - f(x)| = |f_N(x)| = x^{2N} <1/2$ となる$N$が$x$によらず存在する.
両辺で$\log$をとると,$2N \log x < -\log 2 \Rightarrow \log x < -\log 2 /(2N)<0$
$-\log 2 /(2N) < y < 0$なる$y$があって、 $e^y \in (0, 1)$である. $x=e^y$とすると$f_N(x) \geq 1/2$となり,矛盾.背理法によって$\{f_n\}$が一様収束しないと示せた.

6.1.3 Convergence in uniform norm

有界関数にある実数(uniform norm)を与える.uniform normは恒等関数0からのその関数の距離を表している(多くの本ではノルムのことを長さの一般化としているが,原点からの距離と長さを同一視するのは自然かも).関数列から関数のノルムの実数列を作って,収束性を議論する.

Definition 6.1.9

有界な$f: S \rightarrow \mathbb{R}$のuniform norm(sup norm, infinity norm)を
$$||f||_{\sup} = ||f||_{\infty}=||f||_u := \sup\{|f(x)| : x \in S\}$$
と定める.

Proposition 6.1.10

$\{f_n\}$が$f$に一様収束する
$\Leftrightarrow$
$$\lim_{n \rightarrow \infty} ||f_n - f||_u = 0$$
proof.

($\Rightarrow$)
$\epsilon>0$に$n \geq N \Rightarrow \forall x\ |f_n(x)-f(x)|<\epsilon/2$が成立する.
ここで$\sup$の性質より$|f_n(x)-f(x)| \leq ||f_n - f|| \leq \epsilon$が常に成立するから,$||f_n-f|| \rightarrow 0$がたしかに成立.
($\Leftarrow$)
$\forall x\ \ |f_n(x)-f(x)|\leq ||f_n-f||_u$から明らか.

Example 6.1.11

$f_n:[0, 1] \rightarrow \mathbb{R}$を$f_n(x) = \frac{nx + \sin(nx^2)}{n}$とする.
$$\begin{aligned} ||f_n-x||_U &=\sup \left\{\left| \frac{nx+\sin(nx^2)}{n} - x \right| \right\} \\ & = \sup \left\{ \frac{|\sin(nx^2)|}{n}\right\} \\ & \leq \sup \{1/n\} \\ &= 1/n \\ &\rightarrow 0 \end{aligned}$$
よって$\{f_n\}$は$f=x$に一様収束する.

Definition 6.1.12

$\{f_n\}$は有界な関数列とする.この関数列が”Cauchy in the uniform norm” or “uniformly Cauchy”である
$\Leftrightarrow [\forall \epsilon \ \exists N\ \text{s.t. } m,k\geq N \Rightarrow ||f_m - f_k||_u < \epsilon]$

Proposition 6.1.13

$\{f_n\}$は有界関数の列とする.$\{f_n\}$がCauchy in the uniform normである
$\Leftrightarrow [\exists N\ \text{s.t. } n \geq N \Rightarrow ||f_m-f_k||m < \epsilon]$
proof. 略

6.1.4 Exercises

Exercise 6.1.9

$\{f_n:[0,1] \rightarrow \mathbb{R}\}$のそれぞれの関数が単調増加とする.
$f_n(0)=0,\ \ \lim_{n \rightarrow \infty} f_n(1) = 0$なら,$\{f_n\}$は$f=0$に一様収束すると示せ.
答案.

$$\begin{aligned}||f_n-0||_u &= \sup_{x \in [0,1]} \{|f_n(x)|\}& \\ &=|f_n(1)| &(\because \text{単調増加}) \\ & \rightarrow 0 &(n \rightarrow \infty)\end{aligned}$$
よって示せた

Exercise 6.1.10

$\{f_n:[0,1]\rightarrow \mathbb{R}\}$について,$f_n(x_n)=1$をみたす各要素が異なる数列$\{x_n\}$が存在するとき,以下の命題の真偽を調べよ
(a) 0に各点収束するような$\{f_n\}$がある
(b) 0に一様収束するような$\{f_n\}$がある
答案.

(a)
$$f_n(x) = \begin{cases} 1 \ \ &(x = 1/n)\\ 0 \ \ &(x \neq 1/n)\end{cases}$$
とすると,任意の$x>0$について,$n > 1/x \Rightarrow f_n(x)=0$
また$x=0$では常に$f_n(x)=0$.よって$\{f_n\}$は$0$に各点収束していて,命題(a)は真.
(b)
$$||f_n - 0||_u = \sup\{|f_n(x)|\} \geq |f_n(x_n)|=1$$
が必ず成り立つから,命題(b)は偽.

Exercise 6.1.11

連続関数$h:[a, b] \rightarrow \mathbb{R}$を固定し,
$$f(x) := \begin{cases} h(x) \ \ &(x\in [a,b]) \\ h(a) &(x < a) \\ h(b) &(x > b) \end{cases}$$
とする.まず$f:\mathbb{R}\rightarrow\mathbb{R}$が連続であると示し,さらに$[a,b]$を定義域とする$f_n$を
$$f_n(x):= \frac{1}{2\epsilon} \int^{x+\epsilon}_{x-\epsilon} f, \ \ \epsilon = 1/n$$
としたとき,$f_n$が$h$に一様収束することを示せ.
答案.

$f$の連続性は明らかである.
$x \in (a,b)$について,$n$が十分大きければ$[x-\epsilon, x+\epsilon] \subset [a,b]$であって,$f(x)=h(x) \ \ (x \in [x-\epsilon, x+\epsilon])$ だから,$f_n(x) = 0$となる.
$x=a$であれば,
$$f_n(a) = \frac{1}{2\epsilon}(\int^a_{a-\epsilon} + \int^{a+\epsilon}_a) f = \frac{1}{2\epsilon}\cdot[\epsilon h(a) + \int^{a+\epsilon}_a h] = \frac{h(a)}{2} +\frac{1}{2\epsilon} \int^{a+\epsilon}_a h(x)$$
$h$の連続性から,$\zeta>0$に,$|x-a|<e \Rightarrow |h(a)-h(x)|<\zeta$なる$e$がある.
$$\frac{h(a)}{2} -\frac{\zeta}{2} = \frac{1}{2e}\int^{a+e}_a(h(a)-\zeta)<\frac{1}{2e} \int^{a+e}_a h < \frac{1}{2e}\int^{a+e}_a (h(a)+\zeta)=\frac{h(a)}{2} + \frac{\zeta}{2}$$
したがって,$n > 1/e$ならば$|f_n(a)-h(a)|<\zeta/2$.
x=b の場合も同様に$n>1/e$ならば$f_n(b) -h(b)|<\zeta/2$が言える.
以上より,任意の$\zeta >0$に,$n > N$ならば$\forall x \ \ |f_n(x) - h(x)|<\zeta$なる$N(=1/e)$が存在する.
よって確かに$f_n$は$h$に一様収束する.

Basic Analysis (Jiri Lebl) 20日目 Cauchyの主値

CC BY-NC-SA 3.0

Cauchy principal value (Cauchyの主値)

$\int^1_{-1} 1/x$のような,普通には広義積分が収束しない場合にも与えられることがある値．

Definition

$f:[a,b]\rightarrow \mathbb{R}$について，$a<c<b$なる任意の$c$と任意の$\epsilon >0$に,$f$が$[a, c-\epsilon], [c+\epsilon, b]$でリーマン可積分であるとき，
$$p.v. \int^b_a f := \lim_{\epsilon \rightarrow 0+0} \left(\int^{c-\epsilon}_a f+\int^b_{c+\epsilon} f\right)$$
が収束するとき，これをCauchyの主値という．

Exercise 5.5.13

(a) $p.v.\int^1_{-1} 1/x dx$を計算せよ
(b) $\lim_{\epsilon \rightarrow 0+0} (\int^{-\epsilon}_{-1} 1/x dx + \int^1_{2\epsilon} 1/x dx)$が，(a)と異なることを示せ．
(c) $f \in \mathscr{R}[a,b]$ならば，$\int^b_a f = p.v. \int^b_a f$を示せ
(d) $c \in [a,b]$を特異点に持ち,$p.v.\ \int^b_a f$が存在するが，$\int^c_a f, \int^b_c f$が存在しないような$f$を見つけろ
(e) $f:[-1, 1]$が連続とする．$p.v. \int^1_{-1} f(x)/x dx$が存在することを示せ

答案.

(a) $$\lim_{\epsilon \rightarrow 0+0} \left(\int^{-\epsilon}_{-1}1/x + \int^1_{\epsilon} 1/x\right)= \lim_{\epsilon \rightarrow 0 +0} [\log(|-\epsilon|) - \log(\epsilon)] = \lim_{\epsilon \rightarrow 0+0} 0 = 0$$
(b)
$$\lim_{\epsilon \rightarrow 0+0} \left(\int^{-\epsilon}_{-1}1/x + \int^1_{2\epsilon} 1/x\right)= \lim_{\epsilon \rightarrow 0 +0} [\log(|-\epsilon|) - \log(2\epsilon)] = \lim_{\epsilon \rightarrow 0+0} \log\frac{1}{2} = -\log2$$
確かに(a)で得られた値と異なっている．
(c)
特異点$c$として，任意の$\epsilon>0$に$[a, c-\epsilon],[c-\epsilon, c+\epsilon], [c+\epsilon, b]$において$f$は可積分で，
$$\int^b_a f = \left(\int^{c-\epsilon}_a + \int^{c+\epsilon}_{c-\epsilon} + \int^b_{c+\epsilon} \right) f$$
が常に成立するから．定積分と主値積分は等しい．
(d)
(a)で与えられた$\int^1_{-1} 1/x$が求める条件を満たしている．
(e)
特異点は明らかに$0$のみ.また$x\neq 0$で連続だから，任意の$\epsilon >0$に,$f$が$[-1, -\epsilon], [\epsilon, 1]$でリーマン可積分である.微積分の基本定理(Second form)より，$F_1 = \int^{x}_{-1} f, F_2 = \int^x_\epsilon f$があって，$f$は$x\neq 0$で連続だから$F_1'(x) =f(x)/x \ \ (-1 \leq x \leq -\epsilon), F_2'(x)=f(x)/x \ \ (\epsilon \leq x \leq 1)$
$\lim_{\epsilon \rightarrow 0} ( F_1(-\epsilon) +F_2(\epsilon))$ が存在することを言えば良い．
$$F_1'(-\epsilon)=\lim \left[\frac{f(-\epsilon - h)}{-\epsilon -h} - \frac{f(-\epsilon)}{-\epsilon}\right] / -h$$
$$F_2'(\epsilon)=\lim \left[\frac{f(\epsilon + h)}{\epsilon + h} - \frac{f(\epsilon)}{\epsilon}\right] / h$$
ビーンもうダメ

Exercise 5.5.14

$f,g: \mathbb{R}\rightarrow \mathbb{R}$は連続で，ある$[a,b]$があって$[a,b]$以外の点$g$はで常に0の値を取る．
(a)
$$(g * f)(x) = \int^{\infty}_{-\infty} f(t)g(x-t)dt$$
は$x \in \mathbb{R}$で定義されていることを示せ．
(b)
$\int^{\infty}_{-\infty} |f| < \infty$ならば，
$$\lim_{x\rightarrow -\infty} (g * f)(x) =0, \ \ \ \lim_{x\rightarrow \infty} (g*f)(x)=0$$
を示せ．
答案.

(a)
$t \notin [a+x, b+x]$ならば$f(t)g(x-t)=0$だから，積分区間を$[a+x, b+x]$とそれ以下，それ以上の3つに区切れば，常に$[a+x, b+x]$以外の区間での積分は$0$となり，$\int^{\infty}_{-\infty}f(t)g(x-t)dt = \int^{b+x}_{a+x} f(t)g(x-t)dt$