列を眺めるだけでは伸縮率が分からない
行列Aが入力ベクトルをどれだけ伸ばすかは、入力の向きによって変わります。SVDは、入力側の直交する方向をV、各方向の伸縮率を非負の特異値Σ、出力側の直交する方向をUで表し、A=UΣVᵀと分解します。右から順に、入力の座標をVᵀで読み替え、Σで伸縮し、Uで出力の向きへ戻すと考えます。正方行列だけでなく長方形にも使えるため、入力と出力の空間の次元が同じである必要はありません。ここでは手で追える二次元の例を固定します。
対角でない例を組み立てる
Uを90度回転[[0,−1],[1,0]]、Σをdiag(3,1)、Vを[[c,−c],[c,c]]、c=1/√2と置きます。計算するとA=[[c,−c],[3c,3c]]です。入力の第一の特異方向v₁=(c,c)にAを掛けると(0,3)、第二の方向v₂=(−c,c)には(−1,0)が得られます。二つの入力の長さはいずれも1ですが、出力の長さは3と1です。行列の対角成分や固有値だけを伸縮率として読むのではなく、どの方向で測ったかまで対応させてください。
AᵀAで入力の方向を検算する
AᵀAは[[5,4],[4,5]]となり、v₁の固有値は9、v₂の固有値は1です。その平方根が特異値3と1になります。AᵀAは入力の方向に対する二乗ノルムを表すので、固有値をそのまま特異値と呼ばないことが重要です。一方、実際の数値計算ではAᵀAを明示的に作ると条件数を二乗してしまうため、この手計算の確認式を汎用のSVD実装手順と考えないでください。導出を検算する行列と、安定に分解するアルゴリズムは別の役割を持ちます。
一方向を残して近似する
最大の特異値だけを残す階数1近似はA₁=3u₁v₁ᵀです。この例ではA₁の第一行が0、第二行が(3c,3c)になります。A−A₁は捨てた方向を運ぶ成分で、Frobeniusノルムと2ノルムはいずれも1です。入力v₁は完全に保たれますが、入力v₂の出力は0になり、元の出力との距離は1です。平均的な圧縮誤差が小さくても、捨てた方向で必要な情報が失われる場合があります。再構成の良さと分類・検索など下流の目的での良さを分けて評価します。
符号や基底の違いを誤りと決めない
特異ベクトルの符号を入力側と出力側で同時に反転しても、外積uᵢvᵢᵀは変わりません。また特異値が重複する部分空間では、別の直交基底が選ばれる場合があります。二つのライブラリの結果を要素ごとの完全一致だけで比較すると、正しい分解を誤りと判定しかねません。Aの再構成、UとVの直交性、特異値の非負性、残差の大きさを確認します。有限精度で0に近い値を判定する許容誤差は、行列のスケールと計算精度に合わせて定めます。
射影と縮小を区別する
入力を残す空間への射影はP=v₁v₁ᵀ=[[1/2,1/2],[1/2,1/2]]です。これはP²=P、Pᵀ=Pを満たし、A₁自体とは違います。例えばx=(2,0)を射影すると(1,1)、残差は(1,−1)となって残した方向に直交します。さらにAを作用させるとA₁xと同じ結果になります。この計算を自分で確かめ、入力座標の射影、行列の低ランク近似、出力の伸縮を別々の操作として説明してください。SVDの幾何学を理解したら、射影の実験でノルムと直交性も検算できます。