実験・実装 · 入門

バイトストリームからメッセージを取り出す実験

ローカルのストリームソケットを使い、長さ付きメッセージを受信する処理と、途中終了や過大サイズへの備えを学びます。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. TCPのパケット観測ではなく、受信処理の実験
  2. 4バイトの長さを読み、その長さの本文を読む
  3. 二つをまとめて送っても、二つに分けられる理由
  4. 本番向けに足りない条件を整理する
  5. この記事をロゲイアに質問する理解を確かめる

TCPのパケット観測ではなく、受信処理の実験

TCPは、アプリケーションへバイト列を提供します。送信側のsendの回数と、受信側のrecvの回数が一致することを、メッセージ境界として利用してはいけません。この実験では、そのアプリケーション側の処理を、ローカルのsocket.socketpairで確かめます。実ネットワークのTCPパケットを観測する実験ではありません。

socketpairは同じ機器内の接続済みソケットを作ります。利用するソケットの実装は環境にも依存しますが、ここではストリームの読み取りを試すための代用品です。再送、輻輳制御、経路の遅延などは再現しません。外部のサーバーを立てることなく、フレーミングだけに注目できます。

4バイトの長さを読み、その長さの本文を読む

このプロトコルでは、最初の4バイトが本文の長さを表し、その後に指定した長さの本文が続きます。整数はネットワークバイト順で扱います。recvnは必要な長さに達するまでrecvを繰り返す関数で、recvが一度に要求分を返すという仮定を置いていません。

受信した長さを信頼して無制限にメモリを確保しないよう、上限を設定します。途中で接続が終了した場合は、空の完全なメッセージとして扱うのではなく、フレームの途中終了としてエラーにします。0バイトの本文は、長さが明示的に0なら正しく表せる点も区別しましょう。

python
import socket
import struct

MAX_PAYLOAD = 1024 * 1024

def recvn(sock, size):
    data = bytearray()
    while len(data) < size:
        part = sock.recv(size - len(data))
        if not part:
            raise EOFError("Stream ended inside a frame")
        data.extend(part)
    return bytes(data)

def receive_frame(sock):
    size = struct.unpack("!I", recvn(sock, 4))[0]
    if size > MAX_PAYLOAD:
        raise ValueError("Frame exceeds configured limit")
    return recvn(sock, size)

left, right = socket.socketpair()
with left, right:
    left.settimeout(2)
    right.settimeout(2)
    messages = [b"hello", b"world"]
    wire = b"".join(struct.pack("!I", len(m)) + m for m in messages)
    left.sendall(wire)
    received = [receive_frame(right), receive_frame(right)]
    assert received == messages
    print(received)

二つをまとめて送っても、二つに分けられる理由

送信側はhelloとworldの二つを、それぞれの長さと一緒につなげ、sendallを一度だけ呼びます。受信側は長さを基準に二度読み取るので、元の二つの本文を復元できます。送信呼び出しの境界ではなく、プロトコルで定めた境界が、メッセージの区別を担っています。

このコードの成功は、recvが必ず細切れになったことの証明ではありません。実際にはまとめて届く場合もあります。重要なのは、受信処理がどちらの状況でも動く構造になっていることです。細切れを特定の回数で再現したい場合は、受信元を模擬する別のテストを用意して確かめます。

本番向けに足りない条件を整理する

例では両側にタイムアウトを設定し、ソケットを確実に閉じます。ただし、相手が少しずつデータを送る場合を含めた全体の締切、同時接続数、認証、暗号化、バージョン変更などは、この短いコードだけでは扱っていません。個々のrecvの待ち時間と、メッセージ全体の期限は別の設計課題です。

フレーミングが正しくても、内容の意味が正しいとは限りません。復元した本文をJSONなどへ変換する場合は、その構文と必要な項目を検証します。長さの上限、途中終了、空本文、連続する複数メッセージをテストし、プロトコルの約束を明示してから機能を増やしましょう。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 10

学習コースから次を選ぶ