比較・疑問解決 · 基礎から応用へ

帯域幅とレイテンシ

一度に運べる量と、結果が届くまでの時間を区別し、転送時間・往復待ち・並列化の効果を計算例で比較します。

この記事をロゲイアに質問する確認問題3問に進むこれまでの誤答を復習する

更新日

この記事の目次
  1. 速さを一つの数字にしない
  2. 転送に必要な時間を計算する
  3. 小さい要求では往復が支配し得る
  4. キューが増えると遅延も変わる
  5. 帯域遅延積が示すもの
  6. 同じ仕事で改善を判断する
  7. この記事をロゲイアに質問する理解を確かめる

速さを一つの数字にしない

帯域幅は一定時間に運べるデータ量に関係し、レイテンシは処理や通信の結果が届くまでの時間に関係します。レイテンシと呼ぶ値が片道時間、往復時間、API全体の応答時間のどれかは、計測の定義で変わります。Mbpsという単位の大きさだけで、小さい要求への応答も必ず速いとは言えません。比較では、何バイトを、どの区間で、どの開始点と終了点の間に運んだかをそろえます。ネットワークの容量とアプリの応答時間を同じ列で比べると、改善すべき箇所を取り違えやすくなります。

転送に必要な時間を計算する

説明用に、1,000,000バイトを100,000,000ビット毎秒で送り、ヘッダーや損失、立上がりを無視します。8,000,000ビットを運ぶため、直列化に必要な時間は0.08秒です。これに片道の伝搬やキュー待ち、サーバー処理などが加わります。容量を十倍にすれば、この計算の転送部分は0.008秒になりますが、固定の待ちまで十倍速くなるわけではありません。MBとMiB、ビットとバイトを混ぜると値が変わります。数字はこの前提を理解する計算例であり、実際の回線の性能測定を示してはいません。

小さい要求では往復が支配し得る

十回のAPI呼出しを、一つの結果を受けてから次を送る順序で実行するとします。説明のため各回の往復待ちを80ミリ秒、転送量と処理時間を無視すると、待ちだけで約800ミリ秒です。帯域を増やしても、この依存関係が作る十回の往復は消えません。必要な情報をまとめて取る、独立した要求を並列にする、接続を再利用する、といった別の変更が候補になります。ただし接続再利用がアプリ上の十回の依存をなくすわけでもありません。どの待ちを取り除いた変更なのかを明確にします。

キューが増えると遅延も変わる

同じ回線でも、要求が集中して送信待ちが伸びるとレイテンシが増えます。帯域をいっぱいまで使えていることと、個々の利用者の応答が良好であることは同じではありません。上流へ送り込む量を制御せず、キューだけを大きくすると、捨てられるデータは減っても待ちが長くなる場合があります。平均値だけでなくp95などの遅い側や、タイムアウトした要求の件数を確認します。完了した要求だけを集計すると、最も困った利用者が指標から消えることがあります。負荷の量と待ち時間の変化を同じ時間軸で比べます。

帯域遅延積が示すもの

一定速度で転送を続けるために必要な転送中データ量の目安が、帯域遅延積です。たとえば100MbpsとRTT0.08秒を使うモデルでは、約8,000,000ビット、つまり約1,000,000バイトとなります。これはアプリのメッセージ長でも、いつでもその量を送って安全という許可でもありません。TCPでは受信側のウィンドウ、輻輳制御、損失、バッファなども関係します。大きな容量と長い往復時間を持つ経路で、転送中のデータが少なすぎると容量を使い切れない理由を考えるための量として利用します。

同じ仕事で改善を判断する

測定では、同じ入力サイズ、接続状態、同時実行数、経路、キャッシュ条件をそろえます。新しい接続のTLS待ちを含む値と、再利用済み接続での本文転送だけの値を比べると、何が改善したか分かりません。小さい要求と大きな転送の両方を用意すると、固定の待ちと量に比例する時間を分けやすくなります。送信した量だけでなく、正しく完了した量と時間を確認します。帯域が増えたのに体感が変わらないなら失敗と即断せず、アプリの直列処理や外部サービス待ちなど、残った時間の構成を調べます。

読了と問題の結果を、言語ごとにこのブラウザへ保存します。

コースの順番に沿って学ぶ

サーバーの中で起きていること · STEP 10

学習コースから次を選ぶ