近似する先の部分空間を決める
直交射影は、ベクトルxをある部分空間に属するベクトルpで近似し、残りx−pがその部分空間のすべての方向に垂直になるようにする操作です。元のベクトルをそのまま残すとは限らず、失った成分が残差になります。例えば平面の点を水平な直線へ写すなら、上下方向の成分が残差です。どの部分空間へ、どの内積を使って射影するかを先に定めます。座標軸へ単に一部の値をコピーする方法は、その軸が適切な直交基底の場合の特別な形です。一般の斜めの直線へ移すときには、同じコピーの規則を使えません。
直線への射影を内積で求める
ゼロでないベクトルuが張る直線への射影は、p=u(uᵀx)/(uᵀu)です。uが単位ベクトルなら分母は1になります。u=(1,1)、x=(2,0)なら内積uᵀx=2、uᵀu=2なのでp=(1,1)です。残差は(1,−1)となり、uとの内積は0です。分母を省いてp=u(uᵀx)とすると、uが正規化されていない場合に誤った大きさになります。uを2倍しても同じ直線なので、正しい式なら射影結果は変わりません。方向を表すベクトルの長さと、近似先の部分空間そのものを分けることが検算に役立ちます。
最も近いという性質を示す
部分空間内の別の候補qを考えると、x−qは、残差x−pと、部分空間内のp−qの和になります。この二つは直交するため、距離の二乗はそれぞれの二乗の和です。したがってqをpから動かすと、距離を小さくできません。これが2ノルムの意味で最も近い点になる理由です。単に見た目の垂線を描くだけでなく、残差が部分空間全体に直交することが重要です。また、この最適性は使った距離に依存します。別のノルムで誤差を最小化する問題を、同じ射影公式で解いたことにはならない点に注意します。
複数の列を持つ行列へ広げる
独立な列を持つ行列Xの列空間へ射影するなら、係数cについてXᵀXc=Xᵀxという正規方程式を考えられます。式の上ではp=X(XᵀX)⁻¹Xᵀxですが、実際の数値計算で逆行列を明示的に作ることが常に適切とは限りません。QR分解やSVDを使う方が安定な場合があります。列に従属関係があればXᵀXは特異になり、この逆行列の式は使えません。しかし射影先の部分空間が定まっていれば、射影されたベクトル自体は一意です。係数が一意に決まることと、近似した点が一意であることを区別します。
射影行列の条件を検算する
通常の実内積に対する直交射影行列Pは、P²=PとPᵀ=Pを満たします。射影を二回行っても最初の結果はすでに部分空間内なので変わりません。対称性は直交射影の性質であり、P²=Pだけを満たす一般の射影がすべて直交するわけではありません。計算結果では、残差と列空間の内積、射影の再適用、適切な許容誤差を使った対称性を確かめます。丸め誤差のある計算で完全な等号を期待せず、入力のスケールも考慮します。データの次元を減らす場合は、捨てた成分が予測に重要かという別の判断も必要です。
二回適用して確認する
水平軸への射影P=diag(1,0)をx=(2,3)へ使うと(2,0)になり、もう一度使っても変わりません。残差(0,3)と射影先の方向(1,0)の内積は0です。この二つの検算を組み合わせると、結果が部分空間に入り、残差も正しく分離されたことを確認できます。