回答の正解だけで検索を判定しない
RAGでは検索が必要な根拠を取り出し、生成器がその情報を使って回答します。最終回答だけを見ても、検索が失敗したのか、取得した根拠を生成器が使い損ねたのかは分かりません。評価用の質問と、その質問へ答えるために必要な文書や箇所を先に用意します。答えの文字列が偶然含まれるだけでは、条件や例外まで根拠になるとは限りません。文書版、公開日時、利用者の権限も正解集合の条件に含め、実際に検索可能な資料だけで何を達成できるかを定義します。
文書とチャンクのどちらを数えるか決める
文書Aを十個のチャンクへ分けた場合、Aから五個取得しても関連文書を五件取れたことにはなりません。文書単位の評価ならIDで重複を除きます。一方、必要な箇所が文書の後半にあるなら、Aの無関係な冒頭を取れただけではチャンク単位の根拠取得に成功したとは言えません。評価単位を文書、チャンク、根拠のspanのどれにするかを固定します。分割方式を変更する比較では、同じ正解文書や根拠箇所へ対応づけないと、チャンク数を増やしただけで指標が変わる場合があります。
RecallとPrecisionを小例で計算する
正解文書が{A,B}、上位二件が{A,C}なら、関連する取得はAの一件です。Recall@2は1/2、Precision@2も1/2になります。Recallの分母は正解集合、Precisionの分母は取得集合です。上位件数kを大きくするとRecallは増えるか保たれますが、無関係な資料が増えてPrecisionや生成の文脈予算に影響する場合があります。固定した順位列の先頭を延ばす比較という条件を明示してください。検索方法自体を変えて別の順位を作った場合、同じ単調性を比較結果へ勝手に当てはめません。
質問ごとの平均と全体集計を分ける
質問1で正解二件中一件、質問2で正解一件中一件を取れたとします。質問ごとのRecallの平均は(1/2+1)/2=0.75、関連件数を全体で合計する集計は2/3です。どちらを使うかで重みが異なります。質問数の少ない群や、正解資料が多い質問の影響も確認してください。正解集合が空の質問ではRecallの分母が0になるため、除外、別指標、正解なしの応答評価などの規則を決めます。都合の良い質問だけを黙って除かず、件数と理由を報告します。
調整用と最終評価用の質問を分ける
埋め込み、距離、chunkサイズ、重複除去、再順位付けの設定を試すための質問と、最後に性能を確認する質問は分けます。同じ質問を見ながら何度も設定を選ぶと、その集合へ適合した結果を未知の性能として報告するおそれがあります。文書更新や対象利用者が変わった場合は評価集合も再点検します。速度、文脈へ渡す長さ、権限漏れ、検索結果なしの割合も別に追います。高いRecallのために秘密の資料まで取得する方法は、権限条件を満たす検索として成功とは数えません。
失敗箇所から次の変更を選ぶ
検索漏れが多いなら正解資料が索引にあるか、分割で条件が離れていないか、表現や再順位付けが適切かを調べます。必要な根拠が揃っていて生成だけが失敗するなら、検索だけを増やす改善では原因へ届かない場合があります。課題は固定した二質問の正解集合、取得列、RecallとPrecision、生成へ渡す根拠を表にすることです。合格の観点は、指標の分母と評価単位を説明し、検索の成功と回答の成功を分けることです。小さなベクトル実験とチャンク実験でこの手順を検算できます。