入力と出力の方向を分ける
特異値分解は実行列AをUΣVᵀという形に表します。Vの列は入力側の直交する方向、Uの列は出力側の方向で、Σの非負の数が各方向の伸縮を表します。入力と出力の次元が違っても扱えるため、正方行列の固有値分解とは用途が異なります。最初にAがm行n列であることと、完全形か縮約形かを確認します。行列の形をそろえずに因子を掛けると、記号としては似ていても計算できません。UとVの向きを丸暗記するより、どちらが入力座標を変換し、どちらが出力へ戻すかを追うと理解しやすくなります。
対角行列で伸びを測る
A=diag(3,1)では、水平方向は3倍、垂直方向は1倍になります。特異値は3と1です。入力ベクトルの2ノルムを1に固定したとき、出力の最大の長さは3で、最も伸びる方向に対応します。A=diag(−3,1)へ変えても特異値は3と1のままです。符号の反転は方向を表す因子が引き受け、伸びの大きさは非負に保たれるからです。固有値なら−3が現れるので、両者を同じものと考えるとこの例で食い違います。数値の大きさと変換の向きを、別の役割として読むことが大切です。
AᵀAとの関係を使う
AᵀAは正方の対称な半正定値行列で、その固有値の平方根がAの特異値になります。diag(3,1)ならAᵀA=diag(9,1)なので、平方根から3と1を得ます。右特異ベクトルはこの固有方向と結び付きます。ただし数値計算でAᵀAを明示的に作ると、条件の悪さを強める場合があります。定義上の関係を理解するための式と、安定に計算するための実装方法は別です。使用するライブラリのSVD手順を、単純な固有値計算の置き換えだと決めつけず、入力の形、精度、必要な因子を指定します。
階数と低ランク近似を考える
非ゼロの特異値の個数は行列の階数です。diag(3,1)で小さい方の特異値を0にすると、diag(3,0)という階数1の近似になります。捨てた方向の入力成分は再現できなくなるので、近似誤差が生じます。特異値を大きい順に残す切り詰めSVDは、所定の2ノルムやFrobeniusノルムで最良の低ランク近似を与えます。ただし、保存された変動が予測や業務上重要な情報と同じとは限りません。小さな特異値に対応する方向が、少数の重要な例を区別している場合もあります。再構成誤差と下流の評価を別々に確かめます。
小さい特異値と計算誤差を区別する
有限精度の計算では、本来0の特異値が小さな正数として現れる場合があります。逆に、非常に小さいが意味のある方向を、固定の絶対閾値だけで消してしまうおそれもあります。階数を推定する際は、最大特異値、行列の大きさ、数値精度、入力データの誤差を合わせて閾値を考えます。特異値が重複すると、個々の特異ベクトルは一意に決まらず、同じ部分空間内の別の直交基底が得られることがあります。因子の列が前回と異なるだけで計算が誤ったと判断せず、再構成と直交性、対象部分空間を検算します。
小さな方向へ入力する
diag(3,0.1)へ単位ベクトル(0,1)を入れると、出力の長さは0.1です。最大特異値3だけを見ても、この方向で何が起きるかは分かりません。最大増幅を測る課題と、失われやすい方向を調べる課題では、必要な特異値が異なります。スペクトル全体と入力の向きを合わせて読みます。