体系ガイド · 入門

勾配降下法:更新幅と収束を二次関数で確かめる

最急降下方向、学習率、停止条件、スケールの影響を小さな計算で学びます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 更新の向きと大きさを分ける
  2. 二次関数で更新を追う
  3. スケールが更新を難しくする
  4. 停止と結果の解釈
  5. 振動と発散を区別する
  6. この記事をロゲイアに質問する理解を確かめる

更新の向きと大きさを分ける

勾配降下法では、現在の点で計算した勾配と逆向きにパラメータを更新します。勾配は局所的に目的関数が増える方向を示すので、その逆を試します。ただし方向が適切でも、移動量が大き過ぎると損失は増えます。更新式更新後のx=現在のx−ηf′(現在のx)という形で、勾配と学習率ηを別々の役割として読みます。

二次関数で更新を追う

f(x)=x²、初期値x=4、学習率η=0.1とします。微分は2xなので、最初の更新は4-0.1×8=3.2、次は3.2-0.1×6.4=2.56です。一般に更新後のx=(1−2η)×現在のxになります。この関数では0<η<1なら絶対値が縮みますが、η=1では符号が反転するだけで小さくならず、η>1では大きくなります。

python
x = 4.0
learning_rate = 0.1
for _ in range(3):
    x -= learning_rate * (2 * x)
    print(x)

スケールが更新を難しくする

f(x,y)=x²+100y²ではy方向の曲率が大きく、同じ学習率でもyが大きく振動しやすくなります。特徴量のスケールを整えることや、学習率を調整することには、このような幾何学的な理由があります。単に反復回数を増やしても、更新が発散しているなら改善しません。損失値と勾配の大きさを途中で観測します。

停止と結果の解釈

更新量が小さい、勾配のノルムが小さい、反復上限に達したなどの停止条件を組み合わせます。ただし小さい更新量は、学習率が小さ過ぎるだけでも起きます。一般の非凸関数では停留点が大域的な最小値とは限りません。データから求める勾配には雑音も入るため、一回の損失増加だけで誤りと決めず、方法の仮定と全体の傾向を確認します。

振動と発散を区別する

同じ二次関数でη=0.75なら更新係数は-0.5なので、符号は毎回変わりますが絶対値は半分になり収束します。見た目に振動することと発散することは同じではありません。逆にηが非常に小さければ値はゆっくりしか動きません。更新履歴を符号だけで判断せず、目的関数とパラメータの大きさを合わせて確認すると、学習率変更の理由を説明できます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 13

学習コースから次を選ぶ