正解を計算できる関数から始める
f(x)=x³−2x+2をx=1.5で微分します。解析的な微分はf′(x)=3x²−2なので、正解は4.75です。有限差分は近くの関数値から変化率を近似する方法で、今回の中央差分は[f(x+h)−f(x−h)]/(2h)です。自動微分や記号微分とは計算の仕方が違います。まず関数値、解析微分、差分近似という三つの役割を紙に書いてください。正解を知っている小例を使うことで、近似の誤差と、関数の実装自体の間違いを切り分けやすくします。
刻み幅と計算環境を固定する
Python 3の標準的なfloatを使い、追加ライブラリなしで実行します。コードをdifference.pyへ保存し、python difference.pyで実行してください。hは10⁻¹から10⁻¹²まで複数の桁を試します。極端に小さいh一つだけでは、近似が悪いのか、浮動小数点の丸めに埋もれたのか判断できません。外部データやネットワークは不要で、プログラムが変更するファイルもありません。結果を比較するときは、Pythonとプラットフォームの情報、使用した型、hの列を一緒に残します。
近似値と絶対誤差を出力する
各hで関数値を二回求め、その差を2hで割ります。絶対誤差は近似値と4.75の差の絶対値です。この三次関数では実数計算上、中央差分の切捨て誤差はh²となるので、十分大きいhの領域ではhを小さくすると誤差が減ります。assertは、試した刻み幅の中に十分精度の良いものがあることを確かめます。全てのhで同じ誤差になることや、hを小さくするたび必ず改善することは要求しません。表示の丸めで誤差が隠れないよう、出力値をそのまま確認します。
def f(x):
return x*x*x - 2*x + 2
x = 1.5
exact = 3*x*x - 2
errors = []
for h in [1e-1, 1e-3, 1e-5, 1e-7, 1e-9, 1e-12]:
estimate = (f(x+h)-f(x-h))/(2*h)
error = abs(estimate-exact)
errors.append(error)
print(h, estimate, error)
assert min(errors) < 1e-6
print('analytic derivative', exact)
小さすぎるhが不利になる理由
hが非常に小さいと、f(x+h)とf(x−h)は近い値になり、引き算で有効な桁が失われます。さらにその差を小さい2hで割るため、関数値の丸め誤差が強く影響します。概念的には切捨て誤差がh²程度、丸めの影響が機械精度をhで割った程度となり、二つの誤差に折り合いが必要です。厳密な最適hは関数のスケールや高階微分にも依存します。今回の最良のhを、すべての変数・関数・型に通用する固定値として採用しないでください。
多変数と非微分点へ進む前に確認する
多変数では一つの成分だけを±h変え、他の入力を固定して偏微分を調べます。ベクトルの方向に沿う差分を使うなら、勾配との内積を比較対象にします。ただし絶対値関数の0のような非微分点では、中央差分が0でも通常の微分が存在するとは言えません。ドロップアウトなど乱数を使う関数では、二回の関数評価の条件をそろえることも必要です。異なるミニバッチの損失を引き算すると、求めたい微分ではなく標本の違いが大きく混ざる場合があります。
誤差の表から診断する
課題はh、近似値、絶対誤差の表を作り、最も誤差が小さかったhを特定することです。次にxを0と3へ変え、解析微分も変えて比較してください。合格の観点は、関数の設定と正解を示し、近似の改善が止まる理由を説明できることです。正解に近かった一行だけを残すと、刻み幅の選択を検証できません。hを変えた全履歴を保存します。計算式の変形による精度改善は数値安定性ガイドへ、更新方向と学習率の役割は勾配降下の実験へつなげて学べます。