学習済みモデルを使わない理由を明示する
文書A、B、C、Dへ二次元のベクトルを与え、二つの問い合わせで検索します。これは手順を検算する固定ベクトルの模型で、学習済みの埋め込みモデルを評価する実験ではありません。最初の問いの正解を{A,C}、二つ目を{C}と別に定めます。近いベクトルほど必ず関連するという設定にしないことで、検索スコアと正解判定が別の情報であることを確認します。現実の評価では、この正解集合を対象資料と質問の根拠から作る必要があります。ベクトルの値だけから正解を自動で決めません。
距離と順位の規則を固定する
類似度はコサインを使い、大きい順へ並べます。同点なら文書IDの昇順にする規則もコードへ入れます。0ベクトルは用意せず、全候補を総当たりするため、近似索引による探索漏れはありません。上位k=2を取得し、IDを集合にして正解との共通部分を数えます。Python 3のmathだけで実行でき、モデルやデータの取得は不要です。recall.pyへ保存して実行してください。外部状態は変更しないため、不要になったスクリプト以外の片付けはありません。
正解集合を使って割合を出す
最初の問いの上位はA、Bで、正解二件のうちAだけが取得されます。Recallは0.5、Precisionも0.5です。二つ目はC、Bとなり、唯一の正解Cを取るのでRecallは1、Precisionは0.5です。Bは近くても今回の正解集合には含まれません。コードは二つのRecallが[0.5,1]となることをassertで確認します。スコアの小数点の値を、正解の割合そのものとして扱わず、別に定めたID集合から指標を計算していることを読み取ってください。
import math
vectors = {'A': (0.9,0.1), 'B': (0.8,0.2), 'C': (0.0,1.0), 'D': (-1.0,0.0)}
queries = [((1.0,0.0), {'A','C'}), ((0.0,1.0), {'C'})]
def cosine(a,b):
return sum(x*y for x,y in zip(a,b))/(math.sqrt(sum(x*x for x in a))*math.sqrt(sum(y*y for y in b)))
recalls, hits_total, relevant_total = [], 0, 0
for query, relevant in queries:
ranking = sorted(vectors, key=lambda key: (-cosine(query,vectors[key]),key))
retrieved = set(ranking[:2])
hits = len(retrieved & relevant)
precision, recall = hits/len(retrieved), hits/len(relevant)
print(ranking, precision, recall)
recalls.append(recall)
hits_total += hits
relevant_total += len(relevant)
print('macro/micro recall', sum(recalls)/len(recalls), hits_total/relevant_total)
assert recalls == [0.5,1.0]
assert sum(recalls)/len(recalls) == 0.75
macroとmicroを検算する
二つのRecallを同じ重みで平均するとmacroは0.75です。関連取得の合計2を正解の合計3で割るmicroは2/3です。この差は丸め誤差ではなく、集計の重みが違うために生じます。正解の多い質問が増えた場合、microはその質問群の影響を強く受けます。実験結果に一つの平均だけを載せず、質問ごとの値と分母を残すと再集計できます。正解集合が空の質問を追加する場合は、そのRecallを0にするか除くかなどを恣意的に決めず、評価方針として先に定義します。
表現と索引の失敗を分ける
この模型は全候補との類似度を計算するため、A、Bという結果は近似索引がCを見落としたからではありません。Cが最初のqueryから遠いという表現と、別に定めた正解集合の関係から起きています。近似索引を導入する比較では、総当たりの同じ順位を基準にして索引の探索精度も調べます。queryと文書でモデルや正規化を変えた場合は、同じ座標空間の前提も見直します。kを変える実験とベクトル自体を変える実験は別に行い、原因が混ざらないようにします。
必要な根拠を取得できたか説明する
課題ではk=1、2、3で両queryの順位、取得ID、Precision、Recallを表にします。同じ順位の先頭を延ばす限りRecallが下がらないことも検算してください。合格の観点は、コサインの近さだけで関連性を決めず、分母と集計方法を説明できることです。実際の埋め込みモデルへ置き換える際は、モデル版、文書集合、質問、正解付け、距離、kを保存します。生成器を追加する場合も検索指標を残し、根拠が揃ったのに回答で失敗したケースを区別できるようにします。