到達目標:実行できる字句解析器の契約
ブラウザの図を眺める段階から、入力を受け取るRustの関数へ進みます。この章ではHTMLの一部分を扱う小さな字句解析器について、成功したトークンだけでなく、元の入力範囲と失敗の理由まで同じデータとして返す設計を学びます。入力を編集してWASMを実行し、対応するRustの処理と出力を比べてください。画面に表示するのはブラウザ標準のDOMではなく、この教材のRustコードが作った解析結果です。
前提はHTMLをタグと文字列へ分ける既存デモ、配列、列挙型、関数です。完成プロジェクトの全機能を一度に暗記する必要はありません。まず入力、カーソル、トークン列、診断という四つの値を紙に書き、どの処理がそれぞれを更新するかを追います。実行後にタグの見た目だけを確認するのでなく、途中の位置が単調に進み、同じ入力が毎回同じ結果になることを説明できれば、この章の到達点です。
列挙型と所有権:入力の寿命を越える値
開始タグ、終了タグ、テキストを文字列の特別な値で区別すると、名前と内容を取り違えやすくなります。配布コードはTokenKindのOpen、Close、Void、Attribute、Textという列挙型で種類を分けます。受け取る側が閉じた種類の集合に対して分岐するため、入力由来の文字列を新しい種類と取り違えません。種類ごとの値と元の位置はTokenにまとめます。トークンの範囲は開始を含み終了を含まない区間として扱います。たとえば0..3なら先頭から3バイトです。長さと末尾位置を別々に更新するより、終了位置から長さを導く方が整合性を確かめやすくなります。
入力を借用する&strを返す設計にも利点がありますが、呼び出し元の入力が破棄されればその参照は残せません。教材では画面へ渡す結果やDOMの名前を所有する値として扱い、入力用バッファの解放と切り離して考えます。cloneを増やせば所有権の説明が不要になるわけではありません。どの境界でコピーし、どこから先が所有された結果かを明示してください。FFIへ参照を返すなら、コンパイラの通常の寿命検査だけでは相手側の使用順を保証できません。
UTF-8のバイト位置と画面上の文字
Rustの文字列はUTF-8なので、表示上の一文字が常に1バイトとは限りません。<p>猫</p>では開始タグが0..3、猫が3..6、終了タグが6..10です。ASCIIだけの例で作ったカーソルをそのまま日本語へ適用すると、3..4のように文字の途中を切り出す誤りが起こります。タグを区切るASCII記号をバイトで探す場合も、テキストを切り出す始点と終点が文字境界であることを守ります。
画面の選択範囲とRustのバイト位置も同一とは限りません。JavaScript側で表示位置へ変換する責務と、Rustが返すソース上の区間を分離します。診断の番号を利用者へ示すときは単位を「バイト」と明記してください。入力の行数や日本語の長さが変わっても、範囲内の部分文字列が元のトークンと一致するという検査なら、単なる見た目の比較より原因へ近づけます。
手計算:タグ、属性、テキストを分ける
<p id="x">Hi</p>を、最初はタグ名、属性、文字列、終了タグという順に追います。引用符の内側では>をタグの末尾と決め付けません。属性値の読み取り中か、通常のタグ名の読み取り中かを状態として持つ必要があります。トークンの境界が決まってからDOM側が親を選ぶので、字句解析器自身に「pの子だから」という判断を混ぜないようにします。名前の正規化と入力範囲の保存も別々の操作です。
比較実験では、値だけを"a>b"へ変えてください。文字列に含まれる>で開始タグを閉じる実装なら、後続のbをテキストと誤認します。次に引用符を消した入力を与え、対応する構文であるか診断で拒否されるかを確認します。教材が扱わない宣言や生テキスト要素を、HTML標準と同じ回復規則で処理できるとは考えません。対応範囲を先に固定すると、成功と失敗のどちらも説明可能な結果になります。
| 入力部分 | 調べる値 | 責務 |
|---|---|---|
| 開始タグ | 名前・属性・開始終了位置 | 字句解析 |
| Hi | テキストの元の範囲 | 字句解析 |
| 終了タグ | 閉じる名前 | 字句解析 |
| pの子 | 親のノードID | 木の構築 |
失敗は入力の値として返す
利用者が編集する文字列で失敗するたびにpanicすると、教材の説明とエンジンの故障が区別できません。入力が受理できない場合は、位置と理由を持つ診断を返します。閉じていない引用符なら、どこから値を読んでいたかを保持して、末尾に到達した事実を説明できます。未対応の構文も黙って捨てず、対応範囲外だと判断した場所を残します。エラーの文章だけでなく位置があることで、別の言語の説明文へ替えても同じ事象を指せます。
一方で、配列範囲外など実装の不変条件が破られた状態まで、利用者の構文誤りに言い換えてはいけません。入力エラー、資源上限、内部の不整合を設計上区別します。また再実行時は前回の結果を成功した新しい結果に見せないよう、入力と結果の対応を確かめます。デモに現れた診断を修正するときは、まず位置を手で確かめ、その後にコードの分岐を見る順序を守ると、エラー文を合わせるだけの修正を防げます。
実行して確かめる:範囲の単位
次の独立したRustプログラムは、解析器全体の代わりにUTF-8境界という最小の契約を試します。main.rsへ保存し、プロジェクトで固定したRustツールチェーンのrustcでコンパイルして実行してください。成功時に猫の部分だけを取り出し、途中のバイトで終わる範囲をgetが拒否することを確かめます。コンパイルが成功したことと、構文解析器が正しいことは別なので、プロジェクト側のトークン試験も続けて実行します。
試験を増やすときは、正常なASCII、空文字列、日本語、引用符が閉じない属性、長さ上限という分類を作ります。同じ不具合を別の文字列へ置換した例だけを増やしても、境界の網羅にはなりません。期待値にはトークン数だけでなく、範囲と診断の有無を含めます。空入力が成功する契約なら、空のトークン列を正常な結果として明示的に試してください。
// Standalone UTF-8 range contract; related to tokenizer source ranges.
fn main() {
let source = "<p>猫</p>";
assert_eq!(source.get(3..6), Some("猫"));
assert_eq!(source.get(3..4), None);
assert_eq!(source.len(), 10);
}演習:カーソルの進行を証明する
配布プロジェクトのトークン処理を読み、一回のループで入力位置を進める箇所と、診断を返して終了する箇所へ印を付けてください。次に、空白だけ、<だけ、引用符だけ、日本語だけという短い入力を試します。結果が出ない場合に「少し待てば終わる」と判断せず、どの分岐で同じカーソルへ戻っているかを調べます。入力長に応じた処理回数を考えれば、短い入力ほど追跡しやすくなります。
改造課題は、受理範囲を一つだけ拡張し、既存の正常例と失敗例を保ったまま試験を追加することです。構文を増やす前に、どのトークンの種類やデータが変わるかを書いてください。Webの確認問題への合格とローカルでの実装完了は別に記録します。自分のPCのコードが通ったという申告は、サイトがそのコードを採点したことを意味しません。実行ログと差分を残すと、後のDOMの章で責務を切り分ける材料になります。