残す方向を単位ベクトルで決める
直線の方向をu=(0.6,0.8)、入力をx=(3,−1)とします。uの長さは√(0.36+0.64)=1なので、uへの直交射影はp=u(uᵀx)です。内積uᵀxは1になり、射影pは(0.6,0.8)です。残差r=x−pは(2.4,−1.8)となります。まず図にx、p、rを描き、pが残した方向に沿い、rがその方向へ垂直かを予想してください。射影は単に成分を小さくする操作ではなく、指定した部分空間に残す成分を選ぶ操作です。
射影行列の成分も計算する
行列で表すとP=uuᵀ=[[0.36,0.48],[0.48,0.64]]です。各成分を掛けてPxを求めても、内積から作ったpと一致します。直交射影行列はPᵀ=PかつP²=Pを満たします。対称性だけ、または二乗して同じという性質だけでは、実数の標準内積での直交射影の全条件を表したことにはなりません。今回は単位ベクトルから作るため両方を満たします。小さな行列で導出を確認してから、コードが同じ計算をしているか見比べます。
三つの性質をコードで確認する
Python 3のmath以外の追加パッケージは不要です。projection.pyへ保存して実行してください。コードは射影p、残差r、さらにpを射影した結果を作ります。pをもう一度射影しても変わらず、残差とuの内積が0付近で、||x||²=||p||²+||r||²となるかを確認します。浮動小数点の丸めを考慮して許容誤差を使います。外部ファイルやサービスは変更せず、片付けはスクリプトだけです。表示された二乗ノルムは約10、1、9になるので、合計の関係も手で確かめられます。
import math
u = (0.6, 0.8)
x = (3.0, -1.0)
dot = lambda a,b: sum(v*w for v,w in zip(a,b))
project = lambda a: tuple(dot(u,a)*v for v in u)
p = project(x)
r = tuple(a-b for a,b in zip(x,p))
pp = project(p)
print('projection', p, 'residual', r, 'dot', dot(u,r))
assert math.isclose(dot(u,u), 1.0)
assert all(math.isclose(a,b,abs_tol=1e-12) for a,b in zip(p,pp))
assert abs(dot(u,r)) < 1e-12
assert math.isclose(dot(x,x), dot(p,p)+dot(r,r))
print('squared norms', dot(x,x), dot(p,p), dot(r,r))
単位長でない方向を入れると何が変わるか
uを(3,4)へ変更してu(uᵀx)のまま計算すると、同じ直線を表しているのに正しい射影になりません。単位長という仮定を破ったためです。非ゼロの任意の方向vなら射影はv(vᵀx)/(vᵀv)とします。v=(3,4)では分母25で割ることで元と同じpが得られます。課題としてこの形へ書き換え、方向を定数倍しても結果が変わらないことを確かめてください。v=0では分母が0になり、直線の方向も定義できないので、入力として拒否する必要があります。
最小距離の条件を残差から読む
直線上の任意の点をtuと書くと、||x−tu||²はt=uᵀxのとき最小です。残差がuに直交することは、この最小距離の条件と対応しています。今回t=1です。tを0、1、2へ変えた距離の二乗はそれぞれ10、9、10になります。射影で残す成分の長さ1と、近似の残差の長さ3を混同しないでください。また最小距離は採用した内積とノルムに依存します。重み付きの誤差を最小にする問題では、同じ式を無条件で使えるわけではありません。
低ランク近似との関係を説明する
合格の観点は、pが直線上にあり、残差が垂直で、二回射影しても不変であることを数式と出力から説明できることです。入力を(−1,2)へ変えても同じ性質が成り立つか試してください。複数の直交する方向を列に並べた行列QではP=QQᵀへ一般化できます。ただし列が直交していなければこの式をそのまま使えません。SVDで選んだ右特異ベクトルの部分空間へ射影する考えは、低ランク近似への入口になります。行列そのものの近似と、入力の射影を区別して学びます。