実験・実装 · 基礎から応用へ

チャンクの分け方と検索結果を比較する

通常規則と例外を分けた小さな文書で、固定長・重なり・意味のまとまりが取得根拠へ与える影響を比較します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 二つの条件が必要な質問を作る
  2. 取得一件という予算を固定する
  3. 根拠の完全性を明示的に判定する
  4. 重複さえあれば十分とは限らない
  5. 大きいまとまりにも費用がある
  6. 質問集合で分割方針を比較する
  7. この記事をロゲイアに質問する理解を確かめる

二つの条件が必要な質問を作る

資料は「標準の取消は30日以内の返金、ただし特注の注文は返金不可」という仮想の一文です。質問は標準と特注の取消条件を比較するものとし、30日という通常規則と、特注では不可という例外の両方が必要だと定めます。片方だけを聞く質問とは評価条件が違います。実在の店舗の規則を扱う実験ではありません。コードでは短い英単語列を使い、単語を空白で区切ります。モデルの本物のトークナイザではなく、境界と根拠を観察するための単純な単位です。

取得一件という予算を固定する

固定8語、8語で4語重複、全文を一つのまとまりとする三方式を比べます。取得は上位一件だけで、queryの三語と共通する語が多いものを選びます。同点は元の順序で先を選ぶPythonのmaxの挙動に従います。これは語の一致による模型で、埋め込みモデルの性能を測りません。二件を取得して統合すれば解決できる場合もありますが、その実験は別です。今回は限られた一件の根拠に両条件が入るかを固定し、分割の影響を比較しやすくします。

根拠の完全性を明示的に判定する

実行にはPython 3だけを使います。chunk.pyへ保存して実行してください。requiredの三語thirty、customized、neverが選んだ一件に全て含まれるかを判定します。これはこの文の両条件を確認する簡単な検算規則で、一般的な意味理解の採点器ではありません。固定窓も重複窓も条件を満たさず、全文では満たすことをassertで確認します。外部データ、ファイルの書換え、サービスは使わず、片付けはスクリプトだけです。表示された実際の文字列も読んで、判定の意味を確かめます。

python
words = 'standard cancellations receive a refund within thirty days except customized orders which are never refundable'.split()
query = {'refund', 'thirty', 'customized'}
required = {'thirty', 'customized', 'never'}
def chunks(size, overlap=0):
    assert 0 <= overlap < size
    return [words[i:i+size] for i in range(0, len(words), size-overlap)]
def retrieve(parts):
    return max(parts, key=lambda part: len(set(part) & query))
for name, parts in [('fixed8', chunks(8)), ('overlap8', chunks(8,4)), ('whole', [words])]:
    selected = retrieve(parts)
    complete = required <= set(selected)
    print(name, len(selected), ' '.join(selected), 'complete', complete)
assert not (required <= set(retrieve(chunks(8))))
assert not (required <= set(retrieve(chunks(8,4))))
assert required <= set(retrieve([words]))

重複さえあれば十分とは限らない

重複を入れても、通常規則と例外の距離が窓より長ければ、一件へ両方が収まるとは限りません。また重複した多くの候補で同じ通常規則を取得しても、例外の取得を保証しません。今回の結果は「重複は常に無効」という意味ではなく、固定した窓幅と取得予算では不十分な例です。窓を広げる、見出しや段落でまとめる、親の節を追加するなどの方法を別々に試せます。変更後は文脈の長さも記録し、根拠が増えた効果と単に予算を増やした効果を区別します。

大きいまとまりにも費用がある

全文は今回15語なので両条件を保持できますが、大文書を全て一件にすると無関係な内容や費用が増えます。最適な分割サイズを一つの小例から決めることはできません。文書版、見出し、表のヘッダー、脚注、条件と例外のまとまりも検討します。参照権限が異なる資料を、意味のまとまりという理由で無条件に結合してはいけません。実運用では取得後の重複除去、根拠の出典、文脈予算をそろえて比較し、生成器へ何を渡したかまで追えるようにします。

質問集合で分割方針を比較する

課題では窓幅を8から12へ変え、さらに取得二件を結合する設定も別に作ります。両条件が揃うか、渡す語数がいくつかを表にしてください。合格の観点は、この質問が要求する根拠を先に定め、成功を検索スコアだけで判断しないことです。実際の資料へ進む場合は、例外が近い例と遠い例、表、複数資料が必要な質問を含めます。分割方法を選ぶ質問と最終評価の質問を分け、良い一文だけを選んで全体の改善と主張しないようにします。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 22

学習コースから次を選ぶ