行列が方向を保つとき
正方行列Aに対して、ゼロでないベクトルvがAv=λvを満たすとき、vは固有ベクトル、λは固有値です。向きが同じ直線上に保たれ、長さや符号だけが変わる方向を表します。たとえば対角行列diag(3,1)は横方向を3倍、縦方向を1倍にします。ただし一般のベクトルは二つの成分が違う倍率で変わるため、元と平行にはなりません。固有値の個数と、独立な固有ベクトルが十分あることは別の条件です。
射影は残差を直交させる
単位ベクトルuへの直交射影はu(uの転置x)です。u=(1,0)、x=(2,3)なら射影は(2,0)、残差は(0,3)で、uとの内積は0です。より一般には、独立な列を持つ行列Xの列空間へ最小二乗で近づけると、残差rはXの各列と直交します。これは誤差がゼロという意味ではなく、その空間内のどの方向へ動いても二乗誤差をさらに小さくできないという条件です。列が従属する場合には、通常の逆行列による式をそのまま使えません。
SVDで長方形行列も分解する
特異値分解A=UΣVᵀでは、入力側の直交方向をV、方向ごとの伸縮をΣ、出力側の直交方向をUが表します。対角行列diag(3,1)の特異値は3と1です。小さい方向を捨てた階数1の近似diag(3,0)では、第二成分だけが失われます。固有値は正方行列の作用を同じ空間で調べるのに対し、SVDは長方形行列にも適用できます。特異値は非負であり、負の固有値の符号をそのまま表す値ではありません。
小さい方向を捨てる判断
データ行列を中心化してからSVDを用いると、PCAの主成分方向と結び付けられます。分散の大きい方向を残す操作は、目的変数をよく予測する方向を残す操作とは限りません。単位の違う列は尺度によって結果が変わり、非常に小さい特異値は逆問題を不安定にします。計算結果は元の行列への再構成と残差の大きさで確かめます。丸め誤差がある数値計算では、固有方程式や直交性を厳密な等号だけで検査せず、問題の尺度に合った許容誤差を使います。