更新の向きと大きさを分ける
勾配降下法では、現在の点で計算した勾配と逆向きにパラメータを更新します。勾配は局所的に目的関数が増える方向を示すので、その逆を試します。ただし方向が適切でも、移動量が大き過ぎると損失は増えます。更新式更新後のx=現在のx−ηf′(現在のx)という形で、勾配と学習率ηを別々の役割として読みます。
二次関数で更新を追う
f(x)=x²、初期値x=4、学習率η=0.1とします。微分は2xなので、最初の更新は4-0.1×8=3.2、次は3.2-0.1×6.4=2.56です。一般に更新後のx=(1−2η)×現在のxになります。この関数では0<η<1なら絶対値が縮みますが、η=1では符号が反転するだけで小さくならず、η>1では大きくなります。
x = 4.0
learning_rate = 0.1
for _ in range(3):
x -= learning_rate * (2 * x)
print(x)スケールが更新を難しくする
f(x,y)=x²+100y²ではy方向の曲率が大きく、同じ学習率でもyが大きく振動しやすくなります。特徴量のスケールを整えることや、学習率を調整することには、このような幾何学的な理由があります。単に反復回数を増やしても、更新が発散しているなら改善しません。損失値と勾配の大きさを途中で観測します。
停止と結果の解釈
更新量が小さい、勾配のノルムが小さい、反復上限に達したなどの停止条件を組み合わせます。ただし小さい更新量は、学習率が小さ過ぎるだけでも起きます。一般の非凸関数では停留点が大域的な最小値とは限りません。データから求める勾配には雑音も入るため、一回の損失増加だけで誤りと決めず、方法の仮定と全体の傾向を確認します。
振動と発散を区別する
同じ二次関数でη=0.75なら更新係数は-0.5なので、符号は毎回変わりますが絶対値は半分になり収束します。見た目に振動することと発散することは同じではありません。逆にηが非常に小さければ値はゆっくりしか動きません。更新履歴を符号だけで判断せず、目的関数とパラメータの大きさを合わせて確認すると、学習率変更の理由を説明できます。