IDを座標へ対応させる
埋め込みは、語や文書などの対象を数値ベクトルへ対応させる表現です。トークンIDから行を取り出す表として実装される場合も、文全体をモデルで処理して一つのベクトルを得る場合もあります。同じ次元だから同じ意味空間とは限りません。異なるモデルが作った座標をそのまま混ぜると、距離が意図した関係を表さないおそれがあります。モデルの版、入力の正規化、文をまとめる方法をそろえ、どの対象同士の近さを測りたいかを先に定めます。
内積とコサインの違いを計算する
q=(1,0)、a=(2,0)、b=(1,1)を考えます。内積はq·a=2、q·b=1です。コサイン類似度は長さで割るので、qとaは1、qとbは1/√2になります。aを10倍しても向きは同じでコサインは変わりませんが、内積は10倍になります。内積による順位とコサインによる順位が常に同じとは限りません。埋め込みモデルが何の距離を想定して学習されたかに合わせ、検索索引と問い合わせ側の計算をそろえてください。類似度の名前だけで尺度を決めません。
正規化でそろう関係を確認する
全ての非ゼロベクトルを長さ1へ正規化すると、内積とコサイン類似度は一致します。また単位ベクトル同士では||u−v||²=2−2u·vなので、距離の小さい順と内積の大きい順も対応します。これは正規化という条件の下での関係です。0ベクトルは長さで割れないため、空の入力や失敗した表現にどう対処するかを決めます。文書だけ正規化して問い合わせは正規化しないなど、処理が非対称な場合もスコアの解釈を確認します。しきい値を別の尺度へ流用しないでください。
近さは関連性の仮説である
埋め込みの近さは、学習された表現での類似を示すだけで、文書の事実が正しいことや、問い合わせに必要な条件を全て含むことを保証しません。「手続きは可能」と「手続きは不可能」は多くの語を共有し、表現によっては近くなる場合があります。日付、数値、否定、例外、利用者の権限を別に確認します。検索の結果を生成へ渡す場合は、関連性の評価とアクセス制御も必要です。高い類似度の数値を、そのまま回答が正しい確率として表示しないようにしてください。
モデル更新では索引との整合を保つ
埋め込みモデルを更新すると、同じ文でも新しい座標が得られる可能性があります。新モデルで問い合わせだけを作り、旧モデルの文書ベクトルへ検索すると、次元が同じでも整合しません。文書索引の再生成、切替の識別子、モデル版の記録を設計します。比較実験では同じ評価問い合わせと関連文書の正解集合を使い、近似索引の誤差と埋め込み表現の誤差も分けます。検索結果の順位が変わったとき、モデル、前処理、距離、索引のどこを変えたかを追えるようにします。
模型と実モデルの結果を区別する
練習では前の三ベクトルをそれぞれ正規化し、内積とコサインが一致することを手計算します。次に無関係と定めた候補でも、向きが近ければ高スコアになる例を作ってください。合格の観点は、ベクトルの演算結果と人が決めた関連性を別々に扱えることです。対応する検索実験は、固定した小さなベクトルでRecallを計算する模型です。実在の学習済みモデルの品質や、一般的な日本語検索性能の測定ではないことを確認してから、評価手順を実モデルへ移します。