モデルが受け取る単位を定める
トークンは、モデルへ入力する列を作るための単位です。一単語と必ず一致するわけではなく、語の一部、空白、記号、バイト由来の断片などになる場合があります。どこで区切るかはトークナイザの語彙と処理規則に依存します。同じ文章でも、異なるトークナイザではID列と長さが変わり得ます。日本語の一文字が必ず一トークンという対応もありません。長さ制限や料金などを考える際は、文字数だけで決めず、実際に使うモデルに対応した規則を確認します。
IDの数値に意味の順序はない
語彙中の各トークンにはIDが付きますが、IDが100より101の方が意味的に近い、といった距離の解釈はできません。IDは埋め込み表の行などを選ぶための識別子です。同じIDでも、別の語彙では別の文字列を指す可能性があります。モデルと異なるトークナイザを組み合わせると、型として整数列を渡せても意味が一致しないおそれがあります。語彙ファイル、特殊トークンのID、モデルの設定を一つの組として管理してください。ID列を保存するときも、その解釈に必要な版情報を残します。
正規化と分割を別々に追う
トークン化の前に正規化、空白や記号による仮の分割が入り、その後にサブワードの規則が適用される場合があります。例えば大文字を小文字へ変える正規化を行えば、元の大文字の区別は復号だけでは戻せません。Unicodeでも見た目が同じ文字列が異なる符号点列を持つ場合があります。入力、正規化後、トークン列、ID列を順に観察すると、どの段階で境界や情報が変わったかを追えます。全てのトークナイザが同じ段階を持つとは限らないため、採用した構成を明記します。
特殊トークンと会話形式を含めて数える
開始、終了、padding、話者の区切りなどの特殊トークンが加わると、本文だけを分割した数と、モデルへ送る最終列の長さは違います。会話形式では、役割やメッセージ境界を表すテンプレートも影響します。例えば本文が100トークンでも、付加した区切りが10トークンなら入力長は110です。この10は仮の説明例で、全モデル共通の固定費ではありません。長さの見積もりでは、最終的な形式へ整えた列を数え、出力のために残す長さも別に確保します。
バイトの境界と文字の境界を混同しない
UTF-8の「あ」は通常3バイトですが、Unicode符号点としては一つです。バイト由来のトークンでは、その文字の一部のバイトに対応する断片が現れる場合もあります。個々の断片をそれぞれ文字として復号すると不正な文字列になることがあり、適切な列として復号する必要があります。また結合文字や絵文字では、見た目の一文字と符号点数も一致しません。トークナイザと文字・バイトの実験では、小さな既知の規則でこの違いを確認します。そこで得た数を実モデルのトークン数と呼ばないでください。
長さの報告には設定を添える
練習として、ASCIIのA、日本語のあ、eと結合アクセントの列について、見た目、符号点数、UTF-8バイト数を比べます。その上で、使ったトークナイザがあれば特殊トークンを含むID列も比べてください。合格の観点は、語、文字、バイト、トークン、IDの違いを説明できることです。実際の長さを報告する場合はモデル、トークナイザの版、正規化、テンプレート、特殊トークンを含むかを添えます。上限を超える入力の扱いは、文脈長と切り詰めの概念へつなげて確認します。