機械学習でよく使う線形代数の基本である、カーネルとイメージについてまとめておきます。
目次
Imageの定義
$\mathbf x = (x_1,x_2,,x_n)^\mathrm{T}$の時、ある線型写像$f|\mathbf V\subset \mathbb{R}^n\to \mathbf W\subset \mathbb{R}^m$について、$Im f = \{A\mathbf x \:|\: \mathbf x \in \mathbb{R}^n\} \subset \mathbb{R}^m$を$f$の像空間と言う。
Kernelの定義
像空間と同様の線型写像について、$f$によって零ベクトルとなる空間$V$中の部分空間のことを核空間と言う。この時の線型写像を$Ker f$と呼ぶ。
つまり、$Ker \: A =\{\mathbf z \in \mathbb{R}^n\: | \: A\mathbf z=\mathbf 0\}\subset \mathbb{R}^m$
Coimageの定義
Coimageは転置行列の像空間である。
$Coimg\; A =Img\: A^\mathrm{T}$
Cokernelの定義
同様に、Cokernelの定義は転置行列の核空間である。
$Coker\:A = Ker\: A^\mathrm{T}$
次元定理
次元定理とは、カーネルとイメージに関して、$Rank\: A + dim(Ker\: A) =dim(Img\:A) + dim(Ker\: A) =n$が成り立つことを言う。
例題
$A = \begin {pmatrix}2&-5&-1&b_1\\1&-6&-4&b_2\\3&-4&2&b_3\end{pmatrix}$
EERは
$ \begin {pmatrix}1&-6&-4&b_2\\0&7&7&b_1-2b_2\\0&0&0&b_3+b_2-b_1\end{pmatrix}$
$\left\{ \begin{align}&x_1-6x_2-4x_3=b_2\\ &7x_2+7x_3=b_1-2b_2\\ &0=b_3+b_2-b_1\end{align} \right.$
よって、Compatibility conditionは$b_3+b_2-b_1=0$
自由変数は$x_3$であるから、
$(x_1,x_2,x_3)^\mathrm{T}=x_3(-2,-1,1)^\mathrm{T}+(\frac{6}{7}b_1-\frac{5}{7}b_2,\frac{1}{7}b_1-\frac{2}{7}b_2,0)^\mathrm{T}$
よって、核空間および像空間は以下のそれぞれの空間の基底ベクトルによって張られたスパンである。
$ImgA =span\{(2,1,3)^\mathrm{T},(-5,-6,-4)^\mathrm{T}\}$
$KerA=span\{(-2,-1,1)^\mathrm{T}\}$
回答の流れ
AおよびAtのREFとCompatibility conditionを求める。
Base variablesに対して後退代入を行う。
Free variableのみでベクトルを表す。
後ろの定数項が0になる場合はgeneral solutionを得る。
ImgAはAの列ベクトルによって張られたスパン。その基底ベクトルの数は行列の階数と一致する。
KerAはAの解空間の基底によって張られたスパン。KerAの次元は行列の列数からImgAの次元を引いた数と一致する。（次元定理）
