概念・定理図鑑 · 基礎から応用へ

特異値:入力方向ごとの伸びを非負の数で表す

長方形行列のSVDを、二方向の伸縮・階数・低ランク近似の計算から理解します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 入力と出力の方向を分ける
  2. 対角行列で伸びを測る
  3. AᵀAとの関係を使う
  4. 階数と低ランク近似を考える
  5. 小さい特異値と計算誤差を区別する
  6. 小さな方向へ入力する
  7. この記事をロゲイアに質問する理解を確かめる

入力と出力の方向を分ける

特異値分解は実行列AをUΣVᵀという形に表します。Vの列は入力側の直交する方向、Uの列は出力側の方向で、Σの非負の数が各方向の伸縮を表します。入力と出力の次元が違っても扱えるため、正方行列の固有値分解とは用途が異なります。最初にAがm行n列であることと、完全形か縮約形かを確認します。行列の形をそろえずに因子を掛けると、記号としては似ていても計算できません。UとVの向きを丸暗記するより、どちらが入力座標を変換し、どちらが出力へ戻すかを追うと理解しやすくなります。

対角行列で伸びを測る

A=diag(3,1)では、水平方向は3倍、垂直方向は1倍になります。特異値は3と1です。入力ベクトルの2ノルムを1に固定したとき、出力の最大の長さは3で、最も伸びる方向に対応します。A=diag(−3,1)へ変えても特異値は3と1のままです。符号の反転は方向を表す因子が引き受け、伸びの大きさは非負に保たれるからです。固有値なら−3が現れるので、両者を同じものと考えるとこの例で食い違います。数値の大きさと変換の向きを、別の役割として読むことが大切です。

AᵀAとの関係を使う

AᵀAは正方の対称な半正定値行列で、その固有値の平方根がAの特異値になります。diag(3,1)ならAᵀA=diag(9,1)なので、平方根から3と1を得ます。右特異ベクトルはこの固有方向と結び付きます。ただし数値計算でAᵀAを明示的に作ると、条件の悪さを強める場合があります。定義上の関係を理解するための式と、安定に計算するための実装方法は別です。使用するライブラリのSVD手順を、単純な固有値計算の置き換えだと決めつけず、入力の形、精度、必要な因子を指定します。

階数と低ランク近似を考える

非ゼロの特異値の個数は行列の階数です。diag(3,1)で小さい方の特異値を0にすると、diag(3,0)という階数1の近似になります。捨てた方向の入力成分は再現できなくなるので、近似誤差が生じます。特異値を大きい順に残す切り詰めSVDは、所定の2ノルムやFrobeniusノルムで最良の低ランク近似を与えます。ただし、保存された変動が予測や業務上重要な情報と同じとは限りません。小さな特異値に対応する方向が、少数の重要な例を区別している場合もあります。再構成誤差と下流の評価を別々に確かめます。

小さい特異値と計算誤差を区別する

有限精度の計算では、本来0の特異値が小さな正数として現れる場合があります。逆に、非常に小さいが意味のある方向を、固定の絶対閾値だけで消してしまうおそれもあります。階数を推定する際は、最大特異値、行列の大きさ、数値精度、入力データの誤差を合わせて閾値を考えます。特異値が重複すると、個々の特異ベクトルは一意に決まらず、同じ部分空間内の別の直交基底が得られることがあります。因子の列が前回と異なるだけで計算が誤ったと判断せず、再構成と直交性、対象部分空間を検算します。

小さな方向へ入力する

diag(3,0.1)へ単位ベクトル(0,1)を入れると、出力の長さは0.1です。最大特異値3だけを見ても、この方向で何が起きるかは分かりません。最大増幅を測る課題と、失われやすい方向を調べる課題では、必要な特異値が異なります。スペクトル全体と入力の向きを合わせて読みます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 9

学習コースから次を選ぶ