実験・実装 · 基礎から応用へ

トークナイザと文字・バイトの境界を調べる

UTF-8と結合文字、明示した二つのmerge規則で、文字数・バイト数・トークン数の違いを再現します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 本物のモデルの語彙とは分ける
  2. 見た目と符号点を比べる
  3. mergeの順序をコードで追う
  4. 断片だけを復号すると失敗する
  5. 正規化をmergeの前後で混ぜない
  6. 長さの単位を明記して報告する
  7. この記事をロゲイアに質問する理解を確かめる

本物のモデルの語彙とは分ける

この実験は、入力をUTF-8の一バイトずつへ分け、あの三バイトをまとめる二つの規則だけを適用する模型です。頻度からmergeを学習したBPEでも、特定のモデルに付属するトークナイザでもありません。どの規則から長さが決まるかを全て見えるようにするため、小さく固定しています。ここで数えた五トークンを、実サービスの料金や文脈長の見積もりへ流用しないでください。実際のモデルでは、語彙、正規化、特殊トークンなどを含む別の設定が必要です。

見た目と符号点を比べる

入力はA、あ、e、結合アクセントの四符号点です。最後のeとアクセントは一つの文字のように見える場合がありますが、元の文字列では二つの符号点です。UTF-8ではそれぞれ1、3、1、2バイトで、合計7バイトになります。NFC正規化を使うとeとアクセントがéという一符号点へ合成され、全体は三符号点、6バイトになります。見た目が近くても符号点列やバイト列は違います。元の入力を完全に保持したいのか、正規化した表現を扱うのかを先に決めてください。

mergeの順序をコードで追う

Python 3のunicodedataだけで実行できます。tokens.pyへ保存してください。最初の規則はあの先頭二バイトを結び、次の規則が残り一バイトを結びます。三つが一つになるため、7個から5個へ減ります。各断片を16進数で表示し、結合前の情報を失わずに変換したことを確認します。断片を連結してから復号すれば元の文字列へ戻ります。外部モデルの取得、ネットワーク、ファイルの書換えはなく、片付けは保存したスクリプトだけです。

python
import unicodedata
text = "Aあé"
raw = text.encode('utf-8')
pieces = [bytes([b]) for b in raw]
merges = [(bytes([0xe3]), bytes([0x81])), (bytes([0xe3,0x81]), bytes([0x82]))]
for left, right in merges:
    out, i = [], 0
    while i < len(pieces):
        if i+1 < len(pieces) and pieces[i] == left and pieces[i+1] == right:
            out.append(left+right)
            i += 2
        else:
            out.append(pieces[i])
            i += 1
    pieces = out
assert b''.join(pieces).decode('utf-8') == text
nfc = unicodedata.normalize('NFC', text)
print('codepoints/bytes/toy tokens', len(text), len(raw), len(pieces))
print('toy pieces hex', [p.hex() for p in pieces])
print('NFC codepoints/bytes', len(nfc), len(nfc.encode('utf-8')))
assert (len(text), len(raw), len(pieces)) == (4,7,5)
assert (len(nfc),len(nfc.encode('utf-8'))) == (3,6)
try:
    bytes([0xe3]).decode('utf-8')
except UnicodeDecodeError:
    print('partial character cannot decode alone')
else:
    raise AssertionError('expected incomplete UTF-8')

断片だけを復号すると失敗する

UTF-8の一文字の先頭バイト0xe3だけを復号すると、必要な後続バイトがないためUnicodeDecodeErrorになります。これを「元の文章が壊れている」と解釈しないでください。正しい文章を分割した断片が、単独で有効な文字列とは限らないためです。コードはこの例外が出ることも検算しています。生成や通信で断片を扱う場合は、デコーダが必要なバイトを待つ設計や、どの単位で文字列を表示するかが重要です。断片ごとに置換文字へ変えると、後で結合しても元の情報を失うことがあります。

正規化をmergeの前後で混ぜない

元の文字列とNFC版では、あの部分は同じでも最後のバイト列が変わります。入力正規化を行う本物のトークナイザでは、復号結果が元の符号点列と一致しない場合があります。今回はmergeの検算を元の列で行い、NFCの比較は別の処理として表示しています。規則の順序を入れ替えれば結合の結果も変わり得ます。課題として二つのmergeの順を逆にして、なぜあが一つにならないかを確認してください。学習済み規則を使う実装でも、適用順や優先度が仕様の一部です。

長さの単位を明記して報告する

課題は元の入力、NFC版、規則を逆にした模型について、符号点数、バイト数、断片数、復号後の一致を表にすることです。合格の観点は、見た目の文字、Unicode符号点、UTF-8バイト、トークンが同じ単位ではないことを説明できることです。実モデルへ移る場合は対応したトークナイザとテンプレートを使い、最終入力ID列を数えます。今回の小規則だけで日本語全体の圧縮率やトークン効率を結論しません。長さを決めた後は、文脈の入力と出力の予算を別に確認します。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

AI基盤へ進む · STEP 19

学習コースから次を選ぶ