実行時の情報と学習済みの重みを分ける
一般的なRAGの提供構成では、問い合わせに応じて資料を検索し、生成時の入力へ加えます。通常の利用時の検索だけでモデルの重みが更新されるわけではありません。一方、ファインチューニングはデータに応じて重みや追加パラメータを更新する学習です。何を変える操作かが違うため、同じ目的へ使えても代替が常に成立するわけではありません。またRAGの研究や実装でも検索器や生成器を学習する場合があり、「RAGには学習が一切ない」と言い切る説明は避けます。
新しい事実と回答形式で課題を分ける
頻繁に更新される手順書や社内資料を根拠付きで参照したい場合は、検索できる資料と版の管理が重要です。定型の出力形式や特定の判断手順を学習させたい場合は、良質な学習例を用意する方法も考えられます。ただしRAGなら必ず最新で正しく、微調整なら必ず形式を守るという保証はありません。検索漏れ、資料の古さ、学習例の偏り、出力の逸脱をそれぞれ評価します。まず失敗が情報不足なのか、情報を使う手順や表現の問題なのかを診断して方法を選びます。
更新と削除の扱いが違う
RAGの資料を更新すると、索引やキャッシュが新しい版へ切り替わった後の検索を変えられます。ただし古い応答やログまで自動で消えるわけではありません。微調整した重みから特定の情報だけを確実に取り除くことは、単に資料ファイルを削除する操作とは違い、再学習や別の検証が必要になる場合があります。どちらも更新の反映時点、保存先、追跡する版を設計します。「資料を消したから全経路から消えた」という結論を出さず、索引、応答キャッシュ、学習成果物を分けて確認します。
権限をモデルの自制へ任せない
RAGでは利用者が読める資料だけを検索結果や生成入力へ渡すよう、取得前後で適切に権限を検証します。生成器に「秘密なら答えないで」と書くだけでは、渡した資料のアクセス制御になりません。微調整で機密データを重みへ含めた場合も、利用者ごとに重みの中の知識を正確に分離できるとは限りません。学習データへの利用範囲、モデルへのアクセス、ログの最小化を設計します。どちらの構成でも、外部への操作は許可された引数と権限でアプリ側が検証する必要があります。
同じ問いと資源条件で比較する
固定した評価質問を使い、根拠の取得、回答の正確さ、引用、形式遵守、拒否すべき場面、待ち時間、費用を比較します。微調整へ使った例を最終評価にもそのまま使えば、未知の質問への性能を過大評価するおそれがあります。RAGの検索設定を選ぶ質問も、最終評価と分けます。資料にある問い、資料外の問い、新しい版で答えが変わる問いを含めると、方法の違いが見えます。平均だけでなく、権限の異なる群や更新直後の失敗も確認してください。
併用を含めて失敗の原因へ対処する
資料を検索しつつ、出力形式を学習したモデルで回答するような併用も可能です。ただし部品が増える分、版管理と評価の組合せも増えます。課題は、古い規則を答える失敗、形式を守らない失敗、権限外資料を出す失敗について、最初に調べる部品を示すことです。合格の観点はRAGか微調整かを名称だけで選ばず、変更する状態と検証方法を説明できることです。検索品質はRAG評価ガイドへ、学習と評価の分割は正則化・較正の概念へ戻って確認できます。