体系ガイド · 基礎から応用へ

HTMLを文字列からトークンへ分ける

タグの内外と引用符の状態を追い、DOM構築へ渡す情報と、不正な入力の扱いを具体化します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. HTMLの入力と出力を小さく固定する
  2. 同じ記号でも状態によって意味が変わる
  3. 作りかけのトークンを状態として持つ
  4. 文字データをまとめる単位を決める
  5. 対応外のHTMLを通常の文字としてごまかさない
  6. トークン列で後段との契約を試験する
  7. 課題:引用符の中の記号を追う
  8. この記事をロゲイアに質問する理解を確かめる

HTMLの入力と出力を小さく固定する

最初の入力を<p id="intro">Hi</p>とします。字句解析器が返すものは、開始タグpと属性id、文字データHi、終了タグpです。この時点ではpの親が何か、画面のどこへ描くかは決まりません。字句解析は入力を役割ごとに分ける段階で、DOM構築とレイアウトは後の仕事です。教材の実装は短い断片を対象にし、対応するタグ、引用符付き属性、文字データの規則を先に定めます。実用HTMLの全機能を、単純なタグ分割で実装したとは扱いません。

モデルの初期状態には、元の入力、位置0、Data状態、空の作業領域、空の出力列を用意します。一文字読む操作を純粋な状態遷移として実装すれば、同じ状態と文字からは同じ次状態が得られます。履歴を保存して戻す場合も、位置だけ戻して作業領域を残してはいけません。出力済みトークンや未確定の属性値が未来の状態のままになるためです。最初から指定の位置まで再実行する方式なら、小さな入力で再現しやすくなります。デモ上のトークンは最終結果を先に並べて明るくする演出ではなく、状態遷移の結果として生成したデータを表示します。

同じ記号でも状態によって意味が変わる

文字データを読んでいる間の<はタグ開始の候補です。一方、属性の二重引用符の内側では、>が現れても属性値の一部として読み続ける必要があります。たとえば<p title="a>b">の最初の>でタグを閉じると、titleを途中で切ってしまいます。デモでは現在位置だけでなく、Data、Tag name、Attribute valueなどの現在状態も表示します。次の一文字を読む前に「ここで状態が切り替わるか」「トークンが確定するか」を別々に予想すると、解析器の動作を追いやすくなります。

読み込んだ位置現在の意味まだ確定しないもの
<p title="a引用符付き属性値の中属性値と開始タグ
<p title="a>>も属性値の一部属性値と開始タグ
<p title="a>b"属性値を確定開始タグ
<p title="a>b">開始タグを出力なし

作りかけのトークンを状態として持つ

<p id="intro">を読み進める途中では、タグ名、現在の属性名、現在の属性値、確定済み属性を別に保持します。idを読み終えても、値を読み終えるまでは完成した属性とは限りません。入力位置とこの作業領域を合わせて保存すれば、途中で停止しても同じ箇所から再開できます。完成後にだけトークンを出力する設計なら、後段が未完成の属性を読むことも避けられます。重複属性や文字参照など、扱わない構文は入力例と一緒に列挙し、黙って捨てないようにします。

属性を読む試験では、id="intro"とclass="note"の二つを同じ開始タグへ置き、現在の属性名と値をいつ初期化するかを確認します。最初の属性を保存した後に値バッファを空にし忘れると、二つ目の値へintroが混ざります。属性の区切りの空白と、引用符の内側の空白も別です。title="one two"の空白は値に残り、タグ内で属性を分ける空白とは扱いが異なります。模型が対応するタグはhtml、head、body、h1、h2、p、div、span、a、brに限定し、対応しない名前を入力した場合は、表示結果を作る前に対象外として伝えます。

文字データをまとめる単位を決める

Hiという二文字を一つの文字トークンへまとめるか、一文字ずつ返すかは、この教材の内部表現として選べます。どちらの場合も後段で同じテキストを組み立てられることが大切です。比較する試験では、内部のトークン数だけでなく、結合した文字列と木の結果を確認します。空白を全部捨てると、Hello worldの単語の間やインライン要素の前後が変わるため、文字データとして残します。見た目の空白圧縮は、字句解析の都合で勝手に行う処理ではありません。

対応外のHTMLを通常の文字としてごまかさない

実際のHTMLにはコメント、文字参照、scriptの中身、文書型宣言など、状態を追加しなければ扱えない入力があります。とくにscript内の<をすべて開始タグとして読む実装は、JavaScriptの内容を壊します。初期版はそれらを対応外として示し、失敗した位置と理由を返す方針です。これは実ブラウザが同じ入力を必ず拒否するという意味ではありません。ブラウザのエラー回復規則を学ぶ章へ進む際は、教材用の厳格な断片言語とHTML標準の解析を明確に分けて比較します。

エラーの出力には、入力全体をそのままHTMLとして挿入しないことも必要です。解析対象は学習者が編集する文字列なので、コード表示とデモの状態表示は文字データとして描きます。教材用のHTMLを自サイトのDOMへ直接実行させることと、自作の解析状態を観察することは別です。安全な表示にすることは、対応するHTML文法を広げる代わりにもなりません。未対応のコメントを見つけたら、その開始位置、認識した文字、停止した状態を示します。エラーからリセットした後に正常な<p>A</p>を再実行し、前の失敗の作業領域が残っていないことを確かめます。

トークン列で後段との契約を試験する

短い入力ごとに、種類、タグ名、属性、文字内容、開始位置の期待値を用意します。DOMの試験に失敗したら、まずこのトークン列を確認してください。トークンが正しければ、文字を認識する処理ではなく木を作る処理へ調査を絞れます。空入力、属性のないタグ、引用符の内側の>、閉じていない引用符を別々に試します。デモで入力を変更した後は、以前の作業領域やトークンを破棄し、先頭から再計算します。前の実行の属性が残ると、同じ入力でも結果が変わってしまいます。

課題:引用符の中の記号を追う

<p title="x>y">A</p>を一文字ずつ進め、どの>で開始タグが確定するかを答えてください。解答は引用符を閉じた後の>です。titleの値はx>y、文字データはAになります。次に最後の属性引用符を削除すると、初期版は未完了の属性として停止すべきです。文字列全体から>を最初に探す方法では、この二つを区別できません。現在状態、作りかけの値、確定したトークンを三列に記録し、DOMの親子関係をまだ決めていないことも説明してください。

追加課題では、<p>A <span>B</span> C</p>の空白を保持した文字データを取り出します。期待する結合文字列はA B Cです。文字トークンを一文字単位で返す版と、連続した文字をまとめる版を比較しても、結合した結果は同じであるべきです。ここで最終トークン数が違うことは直ちに誤りではありません。一方、属性値やタグ名を含めて全て結合すれば文書の本文にはならないため、種類を選んで取り出します。HTML入力と文字内容の違いを説明し、DOM構築側へは開始・終了タグも必要なまま渡すことを確認してください。出力を読む目的によって、参照する情報は変わります。

デモで動作を確かめる

HTMLからDOMを組み立てる

デモの途中状態を読み込んでいます…

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

CS基礎を固める · STEP 20

学習コースから次を選ぶ