微分は小さい変化への応答
関数fの微分係数は、入力をわずかに変えたとき出力がどれくらい変わるかを局所的に表します。f(x)=x²なら微分は2xで、x=3での傾きは6です。入力を0.01増やすと出力はおよそ0.06増えると予測できます。実際の差は3.01²-3²=0.0601なので、微分による予測は小さい変化を近似するものだと分かります。
複数の入力には勾配を使う
f(x,y)=x²+3y²では、yを固定してxだけ変える偏微分が2x、xを固定したyの偏微分が6yです。この二つを並べた(2x,6y)が勾配です。(1,2)では勾配は(2,12)になります。微小変位(dx,dy)に対する出力変化は、およそ2dx+12dyです。勾配の成分は他の変数を固定した局所的な感度を示します。
連鎖律で合成関数をたどる
f(x)=(3x+1)²なら、内側のu=3x+1と外側のu²を分けます。外側の微分2uに内側の微分3を掛け、fの微分は6(3x+1)になります。計算グラフでも、出力から入力へ各操作の局所的な微分を掛け合わせます。複数の経路から同じ変数へ寄与が戻る場合は、それらを足し合わせる点にも注意します。
局所的な情報の限界
勾配が0でも、最小値とは限りません。極大点や鞍点、平らな場所の場合もあるため、周囲の形や目的関数の性質を確認します。また、微分できない点や離散的な選択には、そのまま通常の微分を適用できません。数値差分で微分を近似するときも、差を小さくし過ぎると丸め誤差が目立ちます。式、実装、近似の条件を分けて理解します。
方向を指定して変化を予測する
勾配が(2,12)の点から、x方向へ0.01、y方向へ-0.01動くと、一次近似の変化は2×0.01+12×(-0.01)=-0.10です。二つの成分の寄与を足し合わせるため、一方を増やしても全体の値は減る場合があります。変数に物理的な単位がある場合は、微分の単位も確認します。異なる尺度の成分の大きさだけを比較すると誤解することがあります。