関数と更新規則を固定する
f(x)=x²/2を最小にします。微分はx、唯一の最小点は0です。学習率ηで勾配降下するとx次=x−ηx=(1−η)xになります。初期値は4へ固定し、学習率以外の条件を変えずに比較します。前提が異なるx²の例では微分が2xになるため、同じ数値の学習率でも挙動が変わります。目的関数の係数まで含めて更新式を書いてください。今回の実験は訓練データやGPUを使う学習ではなく、計算手順を検算する一変数の決定的な模型です。
符号と大きさを両方予測する
0<η<1では係数1−ηが0と1の間になり、符号を保って0へ近づきます。1<η<2では係数が−1と0の間で、符号を交互に変えながら絶対値は縮みます。η=2では係数−1で大きさは変わらず、η>2では絶対値が増えます。この条件は初期値が0でない場合の挙動を説明します。初期値を0にするとどの設定でも動かず、学習率の違いを観察できません。出力の符号だけを見て発散と判断せず、損失x²/2も併せて予想します。
更新列を実行して検算する
Python 3の標準機能だけで、12回の更新を各学習率について行います。コードをdescent.pyへ保存して実行します。表示するのは最初の五つの値と最後の損失で、経過と到達点を両方確認できます。eta=0.25の次の値は3、eta=1.5では−2です。assertは12回後の絶対値が初期値より小さいか、大きいか、同じかを確認します。追加ファイルやネットワークは使わず、片付ける資源は保存したスクリプトだけです。更新式を変更した場合は期待値も再計算してください。
def trajectory(eta, steps=12):
x = 4.0
result = [x]
for _ in range(steps):
x = x - eta*x
result.append(x)
return result
for eta in [0.25, 1.5, 2.0, 2.1]:
xs = trajectory(eta)
print(eta, [round(x, 5) for x in xs[:5]], round(xs[-1]**2/2, 6))
assert abs(trajectory(0.25)[-1]) < 4
assert abs(trajectory(1.5)[-1]) < 4
assert abs(trajectory(2.0)[-1]) == 4
assert abs(trajectory(2.1)[-1]) > 4
停止条件を単独で使わない
学習率が極端に小さいと、更新量は小さくても最小点から遠い場合があります。例えばη=10⁻⁶なら、初期値4から一回の移動は4×10⁻⁶だけです。更新量だけで収束と判定すると、まだ大きい勾配を見逃します。勾配の大きさ、目的関数、反復上限などを組み合わせて停止を考えます。逆に今回のη=2では損失が同じでも、点が±4を往復しています。損失の変化が0という理由だけで、最小値へ到達したと判断しないでください。
曲率が異なる方向を追加する
二変数のf(x,y)=(x²+100y²)/2へ進むと、勾配は(x,100y)です。同じ学習率でもyの更新係数は1−100ηとなります。x方向だけを見て適切なηでも、y方向で発散する可能性があります。両方向を縮めるにはこの例では0<η<0.02が必要です。スケーリングや前処理が最適化へ影響する理由を、この二つの係数から説明できます。ただし実際の確率的学習では標本の雑音や非凸性も加わるため、この決定的な二次関数の境界をそのまま全モデルへ持ち込めません。
挙動を分類して結果を残す
課題では四つのηを、同符号で収束、交互符号で収束、等幅の往復、発散へ分類し、更新係数と損失で理由を示します。次に二変数版でη=0.01と0.03を比べてください。xが落ち着いて見えてもyが増える例を作れます。合格の観点は、曲率と学習率を結び、振動そのものを失敗としないことです。都合の良い最初の数ステップだけで結論を出さず、終端値と反復数も記録します。保証の範囲が曖昧になったら、凸性・滑らかさのガイドへ戻って確認します。