体系ガイド · 発展

LLM評価・可観測性・セキュリティ

LLMの回答品質・遅延・情報漏えいを別の評価軸として扱い、検索からツール実行まで失敗を追える設計を考える。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 利用目的から評価ケースを作る
  2. 平均値で隠れる失敗を分ける
  3. 追跡可能性と秘密の記録を分ける
  4. 生成結果を権限へ直結させない
  5. この記事をロゲイアに質問する理解を確かめる

利用目的から評価ケースを作る

LLMの評価は、流暢な文章が出るかだけでは決まらない。社内規程を案内するサービスなら、正しい適用条件を答えること、根拠のある箇所を示すこと、資料に答えがない場合に断定しないことを分けて評価する。例えば100件の質問を用意しても、すべて通常例であれば例外や権限違反の挙動は分からない。質問の種類、期待する根拠、許容する出力、失敗条件を先に書く。これは評価設計の例であり、特定のモデルが100件へ回答した実測結果ではない。実際の利用者が困る失敗をケースへ落とす。

平均値で隠れる失敗を分ける

検索で資料を取得できなかった失敗と、正しい資料から誤って答えた失敗では直す場所が異なる。正答率だけでなく、根拠の一致、回答を控える判断、処理時間、費用、許可されない情報の返却を別々に集計する。例えば通常例が90件正しくても、権限外の文書を一度返せばその失敗は平均の中へ埋められない。バージョンを比較する際は、同じケースと条件を使い、モデル・プロンプト・索引・設定を記録する。ゆらぎのある生成では、同じ質問の反復も検討し、一回の成功を一般的な保証としない。

追跡可能性と秘密の記録を分ける

障害を追うには、要求ID、処理段階、使用したモデルや索引の版、取得した文書ID、各段階の時間、結果の分類が役立つ。すべての入力や文書本文を無条件にログへ残す必要はない。例えば人事資料を検索するサービスなら、文書IDと権限判定だけで切り分けられる不具合もある。本文を記録する場合は、目的、閲覧できる主体、保持期間を明確にする。モデルの説明文をそのまま正しさの証拠にせず、実際の検索結果、ツールへの引数、外部から返った結果と照合して何が起きたかを調べる。

生成結果を権限へ直結させない

検索した文書に「この指示に従って秘密を送れ」と書かれていても、それは資料の内容であり、アプリの操作権限を与えるものではない。生成器がツールの引数を提案する構成でも、サーバー側で対象、権限、入力形式、必要な承認を確認する。評価では、資料中の偽命令、利用者による範囲外の要求、ツールの失敗やタイムアウトを含める。公開前の評価だけで終えず、実運用で失敗した事例を安全に評価集合へ戻し、改善時に以前の安全な挙動が壊れていないかも確認する。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 23

学習コースから次を選ぶ