実験・実装 · 基礎から応用へ

埋め込み検索のRecallを計測する

固定した小さなベクトルと正解集合で検索順位を作り、幾何学的な近さとRecallの計算を分離して確認します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 学習済みモデルを使わない理由を明示する
  2. 距離と順位の規則を固定する
  3. 正解集合を使って割合を出す
  4. macroとmicroを検算する
  5. 表現と索引の失敗を分ける
  6. 必要な根拠を取得できたか説明する
  7. この記事をロゲイアに質問する理解を確かめる

学習済みモデルを使わない理由を明示する

文書A、B、C、Dへ二次元のベクトルを与え、二つの問い合わせで検索します。これは手順を検算する固定ベクトルの模型で、学習済みの埋め込みモデルを評価する実験ではありません。最初の問いの正解を{A,C}、二つ目を{C}と別に定めます。近いベクトルほど必ず関連するという設定にしないことで、検索スコアと正解判定が別の情報であることを確認します。現実の評価では、この正解集合を対象資料と質問の根拠から作る必要があります。ベクトルの値だけから正解を自動で決めません。

距離と順位の規則を固定する

類似度はコサインを使い、大きい順へ並べます。同点なら文書IDの昇順にする規則もコードへ入れます。0ベクトルは用意せず、全候補を総当たりするため、近似索引による探索漏れはありません。上位k=2を取得し、IDを集合にして正解との共通部分を数えます。Python 3のmathだけで実行でき、モデルやデータの取得は不要です。recall.pyへ保存して実行してください。外部状態は変更しないため、不要になったスクリプト以外の片付けはありません。

正解集合を使って割合を出す

最初の問いの上位はA、Bで、正解二件のうちAだけが取得されます。Recallは0.5、Precisionも0.5です。二つ目はC、Bとなり、唯一の正解Cを取るのでRecallは1、Precisionは0.5です。Bは近くても今回の正解集合には含まれません。コードは二つのRecallが[0.5,1]となることをassertで確認します。スコアの小数点の値を、正解の割合そのものとして扱わず、別に定めたID集合から指標を計算していることを読み取ってください。

python
import math
vectors = {'A': (0.9,0.1), 'B': (0.8,0.2), 'C': (0.0,1.0), 'D': (-1.0,0.0)}
queries = [((1.0,0.0), {'A','C'}), ((0.0,1.0), {'C'})]
def cosine(a,b):
    return sum(x*y for x,y in zip(a,b))/(math.sqrt(sum(x*x for x in a))*math.sqrt(sum(y*y for y in b)))
recalls, hits_total, relevant_total = [], 0, 0
for query, relevant in queries:
    ranking = sorted(vectors, key=lambda key: (-cosine(query,vectors[key]),key))
    retrieved = set(ranking[:2])
    hits = len(retrieved & relevant)
    precision, recall = hits/len(retrieved), hits/len(relevant)
    print(ranking, precision, recall)
    recalls.append(recall)
    hits_total += hits
    relevant_total += len(relevant)
print('macro/micro recall', sum(recalls)/len(recalls), hits_total/relevant_total)
assert recalls == [0.5,1.0]
assert sum(recalls)/len(recalls) == 0.75

macroとmicroを検算する

二つのRecallを同じ重みで平均するとmacroは0.75です。関連取得の合計2を正解の合計3で割るmicroは2/3です。この差は丸め誤差ではなく、集計の重みが違うために生じます。正解の多い質問が増えた場合、microはその質問群の影響を強く受けます。実験結果に一つの平均だけを載せず、質問ごとの値と分母を残すと再集計できます。正解集合が空の質問を追加する場合は、そのRecallを0にするか除くかなどを恣意的に決めず、評価方針として先に定義します。

表現と索引の失敗を分ける

この模型は全候補との類似度を計算するため、A、Bという結果は近似索引がCを見落としたからではありません。Cが最初のqueryから遠いという表現と、別に定めた正解集合の関係から起きています。近似索引を導入する比較では、総当たりの同じ順位を基準にして索引の探索精度も調べます。queryと文書でモデルや正規化を変えた場合は、同じ座標空間の前提も見直します。kを変える実験とベクトル自体を変える実験は別に行い、原因が混ざらないようにします。

必要な根拠を取得できたか説明する

課題ではk=1、2、3で両queryの順位、取得ID、Precision、Recallを表にします。同じ順位の先頭を延ばす限りRecallが下がらないことも検算してください。合格の観点は、コサインの近さだけで関連性を決めず、分母と集計方法を説明できることです。実際の埋め込みモデルへ置き換える際は、モデル版、文書集合、質問、正解付け、距離、kを保存します。生成器を追加する場合も検索指標を残し、根拠が揃ったのに回答で失敗したケースを区別できるようにします。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 16

学習コースから次を選ぶ