推論レイテンシ
Inference Latency
推論レイテンシはAIモデルに入力してから結果を得るまでの時間。リアルタイムAIの性能を左右する重要な指標で、アプリケーション体験に直結します。
推論レイテンシとは
推論レイテンシは、訓練済みAIモデルに入力を与えてから予測結果を得るまでの時間です。 チャットボットが質問に答えるまでの待ち時間、スマートフォンのカメラが被写体を認識するまでの遅延、自動運転車がブレーキをかけるまでの反応時間。すべてが推論レイテンシに影響されます。ミリ秒（ms）単位で測定され、アプリケーション体験とシステム安全性の両方を左右する重要な指標です。
ひとことで言うと： AIが質問に答えるまでの待ち時間。短いほどユーザーストレスが減り、システムは安全になります。
ポイントまとめ：
- 何をするものか： AIモデルの実行速度を測定し、ユーザーに応答が返るまでの総遅延を把握します
- なぜ重要か： 数秒の遅延でも会話AIは不自然に感じられ、自動運転では危険になり得ます
- 測定対象： モデル計算、データ転送、前後処理、システムオーバーヘッドすべてが対象です
なぜ重要か
推論レイテンシはビジネスとテクノロジーの両面で重要です。ユーザー体験の観点では、500ms以上の遅延があると知性が低いと感じられ、満足度が大きく低下します。e コマースの推薦システムで遅延があればユーザーは離脱し、カスタマーサポートチャットボットが遅ければ信頼性を失います。
安全性の観点ではさらに重大です。自動運転で100ms の遅延があれば、時速36km（秒速10m）で走行する車は1mも進んでしまいます。顔認証セキュリティで数秒の遅延があれば、不正アクセス防止の効果が薄れます。医療用画像診断AIでも、医師の待ち時間と診断精度のバランスが重要です。
また、レイテンシはインフラコストに直結します。高速応答を求めると、より高性能なGPUやTPUが必要になり、運用コストが増加します。逆にコストを抑えると遅延が増え、ユーザー体験が低下する。この根本的なトレードオフをどう管理するかは、AI運用の中核的な課題です。
仕組みをわかりやすく解説
推論レイテンシはシステムの複数の段階で発生します。まずデータ収集（ユーザーが入力を提供）、次に前処理（画像リサイズ、テキストトークン化）、その後モデル実行、さらに後処理（結果のフォーマット）、最後にユーザーへの配信。各段階が合算されたのが総レイテンシです。
モデル実行段階が最も時間がかかることが多いです。ニューラルネットワークの層数が多いほど、パラメータ数が多いほど実行時間が増加します。MobileNetというシンプルなモデルなら数ミリ秒で済みますが、GPT-3のような大規模モデルなら数秒かかります。
データ転送もバカにできません。クラウド上のAIサービスを使う場合、ローカルPCからクラウドへのラウンドトリップ時間が50msはかかります。エッジAIがスマートフォンやカメラに搭載されるのは、この転送遅延を排除するためです。
量子化（モデルの精度を落として計算を高速化）やプルーニング（不要なパラメータ削除）といった最適化テクニックで、精度損失をほぼ無視しながら数倍高速化することも可能です。
計算方法
推論レイテンシの計算は次式で表されます：
総レイテンシ = 前処理時間 + モデル実行時間 + 後処理時間 + データ転送時間 + システムオーバーヘッド
例えば、画像認識で次のような測定値が得られた場合：
- 画像ロードと正規化：5ms
- モデル実行（GPU）：15ms
- 結果の出力フォーマット：2ms
- ネットワーク遅延（クラウドの場合）：30ms
総レイテンシ = 5 + 15 + 2 + 30 = 52ms
大事なのは、平均値だけでなく、95パーセンタイル（P95）と99パーセンタイル（P99）も測定することです。平均50msでも、稀に3秒かかるようでは実用的ではありません。
目安・ベンチマーク
業界別の目安は以下の通りです：
| ユースケース | 許容レイテンシ | 実現難易度 |
|---|---|---|
| チャットボット | 500ms～1秒 | 低 |
| 画像分類（リアルタイム） | 100～500ms | 中 |
| 自動運転（物体検出） | 50ms未満 | 高 |
| 金融取引（不正検出） | 100ms未満 | 高 |
| ライブビデオ分析 | 300ms未満 | 中 |
| スマートフォンカメラ | 50～200ms | 高 |
数値が小さいほどハードウェアコストが上がり、より複雑な最適化が必要になります。
メリットと注意点
推論レイテンシ削減のメリットは明白ですが、必ずしもすべてのアプリケーションで最小化が必要とは限りません。バッチ処理で1時間に1回結果が必要なシステムなら、レイテンシは数分でも問題ありません。コストと効果のバランスを取り、必要十分なレイテンシ目標を設定することが重要です。
また、高速化と精度のトレードオフがあります。モデルを小さくしたり、データ精度を落としたりするとレイテンシは下がりますが、認識精度も低下します。自動運転では精度が命ですから、レイテンシ削減で精度を損なってはいけません。
関連用語
- スループット — 単位時間あたり処理数。レイテンシとは異なる指標で、バッチ処理では重要です
- GPU — 並列計算に優れ、推論レイテンシ削減の主要手段です
- モデル圧縮 — 量子化やプルーニングでレイテンシを削減します
- エッジコンピューティング — ネットワーク遅延を排除し、レイテンシを最小化します
- AI最適化 — ハードウェアとソフトウェア両面でレイテンシ最適化を行います
よくある質問
Q：平均レイテンシが50msでも大丈夫ですか？ A：用途による。チャットボットなら許容範囲ですが、自動運転では不十分です。特にP99（最も遅い1%）を確認してください。
Q：なぜクラウドAIは遅いのですか？ A：ネットワーク往復時間がある上、クラウド側で複数リクエストをキューイングするため。エッジAIなら遅延ゼロです。
Q：バッチ処理ならレイテンシは気にしなくていいですか？ A：はい。1時間かけて1000件処理するなら、個別レイテンシは関係ありません。スループット（1時間あたり何件処理できるか）が重要です。
