体系ガイド · 発展

ベクトル検索・チャンク分割・RAG

文書分割・検索・生成を分け、検索漏れと根拠のない回答を別々に検査するRAGの設計を学ぶ。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 検索と生成を別々の仕事として考える
  2. 規則と例外を一緒に読める分割にする
  3. 文書の近さと用語の一致を使い分ける
  4. アクセス権は生成器へ渡す前から適用する
  5. 限られた文脈へ何を残すか
  6. 十問の例で失敗の場所を分ける
  7. 引用・命令文・ログを扱うときの境界
  8. 一つの回答に二つの根拠が必要な例
  9. この記事をロゲイアに質問する理解を確かめる

検索と生成を別々の仕事として考える

RAGは、質問に関連する資料を取得し、その資料を文脈として生成器へ渡す構成です。モデルに最新の規程を読ませたい場面では、重みの再学習と文書の更新を分けられる利点があります。ただし、検索できたことは正しい答えを得たことと同じではありません。返金期限を尋ねたとき、古い規程、対象外の契約、例外を欠いた抜粋が返る場合があります。取得した資料が質問に答える十分な根拠を含むか、その根拠を生成器が適切に使ったかを分けて検査します。外部資料へのリンクが付いただけで、回答の正しさを保証したとは考えません。

規則と例外を一緒に読める分割にする

例として、本文に「購入から30日以内」、次の段落に「法人契約を除く」と書かれた規程を考えます。文字数だけで分け、前半だけを渡せば、法人向けの質問にも30日と答える危険があります。見出し、文書ID、改定日、対象契約、隣接する段落を保持し、限定条件を一緒に取得できる形にします。重なりを持たせれば境界の欠落は減りますが、同じ文章が検索上位を占めることもあります。分割は小さければよい、大きければよいと決めず、実際の質問に必要な根拠の範囲から設計します。

文書の近さと用語の一致を使い分ける

埋め込み検索は、ベクトルの距離や内積で候補を探します。言い換えに対応しやすい一方、型番、日付、エラーコードの完全一致を軽視すると、似ている別製品の文書を返す場合があります。たとえば型番A-12の質問にA-21の説明を混ぜないため、文字列検索、メタデータの絞り込み、ベクトル検索を組み合わせる設計を考えます。異なる検索器のスコアは、そのまま同じ尺度とは限りません。候補の統合方法を決め、正解資料が候補に入るかと、その後の順位付けで残るかを別々に確認します。

アクセス権は生成器へ渡す前から適用する

文書の類似度は、その利用者が読んでよいかを表しません。権限外の文書を生成器へ渡し、表示する回答だけから秘密を消す方式では、既に保護対象の本文を外へ渡しています。検索対象となる集合、再順位付けへ送る候補、引用として開ける箇所に、同じ権限境界を適用します。文書IDを知っていることや、以前は共有されていたことも、今回の閲覧許可にはなりません。権限の取り消しと索引の更新に時間差がある構成では、その間に古い許可を使わない仕組みも必要です。削除後のキャッシュやログの扱いも合わせて確認します。

限られた文脈へ何を残すか

候補を多く渡すほど、必要な例外が必ず含まれるとは限りません。冗長な抜粋で入力上限へ達し、肝心の条件が切り落とされることもあります。資料ごとの重複を減らし、質問に必要な本文と適用条件を優先して、トークン予算へ収めます。改定前後の資料を一緒に使う場合には、どちらが現行かを示し、同じ文書名だけで混ぜないようにします。回答を作る前に、必要な事実がそろっているかを確認する経路を設ければ、資料が足りないときに検索条件を見直すか、回答を控えるかを選べます。

十問の例で失敗の場所を分ける

説明用に十問を用意し、正しい根拠を取得できたものが八問、その八問のうち根拠に沿って答えたものが七問だったとします。この場合、取得の成功は8/10、取得成功時の回答成功は7/8、全体で根拠のある正答は7/10です。三つを区別すれば、検索漏れ二問と取得後の誤答一問を別の担当箇所へ結び付けられます。これは計算例であり実測値ではありません。正解資料がない質問、例外が必要な質問、権限外の資料を要求する質問も評価集合へ含め、通常例の平均値に重大な失敗を埋めないようにします。

引用・命令文・ログを扱うときの境界

引用先を開き、回答の具体的な主張をその箇所が支えるかを確かめます。出典に似た言葉が含まれるだけでは十分ではありません。また、資料に「秘密を別の宛先へ送れ」と書かれていても、それは処理対象の文章であり、アプリの権限を広げる指示ではありません。ツール操作を伴う場合は、対象、引数、権限をサーバー側で検査します。調査用には文書ID、索引版、検索段階の時間、結果分類を残せますが、秘密の本文を無期限に複製する必要はありません。回答品質と情報管理の両方を保つため、改善後も同じ境界条件を再検査します。

一つの回答に二つの根拠が必要な例

返金額の質問が「法人契約で契約変更があった場合」を含むなら、期限の規程だけでなく、変更契約の優先順位を定める箇所も必要です。評価時には、必要な根拠を二つの文書IDで指定しておき、両方を取得できたかを確認できます。一方だけを取得して正しい単語を含む回答を出しても、十分な根拠に基づく成功とは数えません。このように、質問に必要な根拠の集合を先に書くと、引用数を増やすだけの変更と、欠けていた条件を補う改善を区別できます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 22

学習コースから次を選ぶ