機械学習用の線形代数の復習まとめ。
目次
Inner Product の定義
空間$V$に存在する$\mathbf v, \mathbf w \in V$となるような二つのベクトルについて、
$\langle \mathbf v, \mathbf w \rangle \in \mathbb{R}$をInner Product といい、以下の性質を持つ。
Bilinearity
$c,d\in \mathbb{R}\: ,\mathbf u \in V$の時、
$$\langle c\mathbf u + d\mathbf v,\mathbf w\rangle = c\langle \mathbf u,\mathbf w\rangle + d\langle \mathbf v,\mathbf w\rangle $$
$$\langle \mathbf u,c\mathbf v+d\mathbf w\rangle = c\langle \mathbf u,\mathbf v\rangle + d\langle \mathbf u,\mathbf w\rangle $$
Symmetry
$$\langle \mathbf v,\mathbf w \rangle = \langle \mathbf w,\mathbf v \rangle$$
Positivity
$\mathbf v \neq 0$の時、$\langle \mathbf v , \mathbf v \rangle > 0$であり、
$\langle \mathbf 0 , \mathbf 0 \rangle = 0$である。
例
例えば、$\mathbb{R}^2$空間において、
$\langle \mathbf v , \mathbf w \rangle = \mathbf v^\mathrm{T}\mathbf w= v_{1}w_{1}+v_{2}w_{2}$
を満たす。
ユークリッドノルムの定義
$\mathbb{R}^n$空間において、
$\|\mathbf v \| = \sqrt{\mathbf v\cdot \mathbf v} =\sqrt{ \sum_{i=1}^n \mathbf v_i^2}$
($\|\mathbf v \| = \sqrt{\langle\mathbf v, \mathbf v\rangle}$)
Cauchy-Schwarz Inequalityの定義
$\mathbf v,\mathbf w \in \mathbb{R}^n$の時、以下の式が成り立つ。
$\mathbf v \cdot \mathbf w=\|\mathbf v \|\|\mathbf w \| \cos\theta$
ここで、$|\cos\theta| \leq 1$より、
$|\mathbf v \cdot \mathbf w| \leq \|\mathbf v \|\|\mathbf w \| $
よって、全てのInner productは以下を満たす。
$\forall \mathbf v,\mathbf w \in V,\:\: |\langle \mathbf v,\mathbf w\rangle| \leq\|\mathbf v \|\|\mathbf w \| $
Triangle Inequality の定義
ユークリッドノルムについて、以下の関係が成り立つ。
$\|\mathbf v + \mathbf w\| \leq \|\mathbf v\| + \|\mathbf w\| ,\:\: \forall \mathbf v,\mathbf w\in V$
例1
$\mathbb{R}^4$空間上の以下のベクトルについて考える。
$\mathbf v = (2,1,-2,1)^\mathrm{T}$
$\mathbf w= (0,-1,2,-1)^\mathrm{T}$
この時、
$\mathbf v\cdot \mathbf w = -1-4+1=-4$
$\|\mathbf v\| = \sqrt{4+1+4+1}=\sqrt{10}$
$\|\mathbf w\| = \sqrt{1+4+1}=\sqrt{6}$
であり、
$|\mathbf v \cdot \mathbf w|\leq\|\mathbf v \|\|\mathbf w \| $
また、angleは
$\cos\theta=\frac{-4}{\sqrt{10}\sqrt{6}}$より、
$\theta = \arccos(\cos\theta)\cdot \frac{180}{\pi} \simeq 121$
例２
以下のように定義されるInner product があるとする。
$\mathbf v= (3,-1,2)^\mathrm{T}$
$\mathbf w=(1,-1,1)^\mathrm{T}$
$\mathbf A =\begin {pmatrix}2&-1&0\\-1&2&-1\\0&-1&2\end{pmatrix} $
$\langle\mathbf v,\mathbf w \rangle = \mathbf v^\mathrm{T}\mathbf A \mathbf w$
この時、
$\langle\mathbf v,\mathbf w \rangle = (7,-7,5)^\mathrm{T}(1,-1,1)=19$
$\|\mathbf v\|^2 = \mathbf v^\mathrm{T}\mathbf A \mathbf v=38$
$\|\mathbf w\|^2 = \mathbf w^\mathrm{T}\mathbf A \mathbf w=13$
よって、$\|\mathbf v\|=\sqrt{38}, \|\mathbf w\| = \sqrt{13}$
また、$\mathbf v + \mathbf w = (4,-2,3)^\mathrm{T}$
$\|\mathbf v + \mathbf w \|^2 = (\mathbf v + \mathbf w)^\mathrm{T}\mathbf A (\mathbf v + \mathbf w)$
よって、$\|\mathbf v + \mathbf w \| = \sqrt{86}$
以上から、Triangle Inequalityを満たす。
