
大規模言語モデル(LLM)はAIアプリケーションに革命をもたらしましたが、本番環境でのデプロイは、推論のレイテンシーとスループットによってボトルネックになることがよくあります。各トークンが順次生成される自己回帰デコーディングは、特に大規模モデルや長いシーケンスの場合、本質的に低速です。このドキュメントでは、このボトルネックを軽減するための強力な手法である投機的デコーディング(speculative decoding)について、vLLMでの実装とMedusaやEagleのような高度なバリアントに焦点を当て、権威ある詳細なガイドを提供します。基盤となるアーキテクチャ原則、実用的なvLLM構成、パフォーマンスベンチマーク、および重要な本番環境での考慮事項について探求します。
Compare token costs, prompt caching discounts & context margins
Model monthly token economics across Gemini 2.5 Flash, DeepSeek R1/V3, Claude 3.5 Sonnet, and GPT-4o with prompt caching discounts, token counter, and markdown export.
LLMはトークンごとにテキストを生成します。各トークンについて、モデル全体の順伝播が実行され、かなりの計算リソースを消費します。このシーケンシャルな性質は、総推論時間がアウトプットシーケンス長に線形にスケールすることを意味し、リアルタイムで高スループットなアプリケーションを困難にします。
典型的なLLM推論リクエストを考えてみましょう。
この反復プロセスは、高品質な出力を保証する一方で、計算コストが高くなります。投機的デコーディングのようなパフォーマンス最適化手法の主な目標は、この厳密なシーケンシャルな依存関係を打破し、可能な限り並列処理を導入することです。
投機的デコーディングは、より小さく高速な「ドラフト」モデルを利用して複数の将来のトークンを並行して予測し、それらをより大きく正確な「ターゲット」モデルが単一の効率的な順伝播で検証することで、LLM推論を高速化します。
その核心となるアイデアはシンプルかつ深遠です。
k個の候補トークンのシーケンスを迅速に生成します。これは将来のトークンに関する投機的な推測です。k個の候補トークンを単一のバッチで処理します。これにより、シーケンス内の各位置の確率分布を予測し、ドラフトモデルの予測を効果的に検証します。k個の候補が検証されるまでプロセスは続行されます。このメカニズムにより、ターゲットモデルはトークンを1つずつ生成するのではなく、複数のトークンを並行して検証することで「先読み」することができます。効率の向上は、検証ステップごとに承認されるトークンの平均数(「承認率」)に直接比例します。
一般的な設定では、2つの異なるモデルがGPUメモリにロードされます。
投機的デコーディングによる推論ループは次のように進行します。
パフォーマンス向上の鍵は、ステップEとFの並列性にあります。ターゲットモデルでのk回のシーケンシャルな順伝播の代わりに、k個のトークンを検証するために1回の順伝播のみが実行されます。
標準的な投機的デコーディングは大きな利点をもたらしますが、その効率は線形的な承認率によって制限されます。ドラフトモデルがターゲットと完全に一致しない場合、不一致が早期に発生し、実効的なkが低下する可能性があります。MedusaやEagleのようなツリーベースの投機的デコーディング手法は、候補トークンのツリーを生成することでこの問題に対処し、より堅牢な並列検証を可能にします。
Medusa(Multi-Head Decoding)は、単一のドラフトモデルに複数の予測ヘッドを追加することで、投機的デコーディングを強化します。ドラフトモデルは、単一の次のトークンを予測する代わりに、異なる将来の位置で複数の可能な次のトークンを同時に予測します。
Medusaの仕組み:
h_iは、現在のトークンに対する相対的な位置iのトークンを予測するように訓練されます。例えば、h_0は次のトークンを予測し、h_1はt_1が与えられた場合にその次のトークンを予測します。h_0はt_1を予測し、h_1はt_2を予測します。これにより、可能な継続の小さなローカル検索ツリーが作成されます。Medusaは、単一のターゲットモデルパスで検証できるトークンの数を大幅に増やし、より高い実効承認率とより大きなスループットにつながります。
Eagleは、Medusaのコンセプトをさらに発展させ、マルチヘッド投機的デコーディング専用の、高度に最適化されたドラフトモデルを設計しています。Medusaは通常、既存のLLMを複数のヘッドで適応させますが、Eagleは効率的なマルチヘッドドラフトモデルとしてゼロから設計されています。
Eagleの主な特徴:
vLLM(または他の推論エンジン)でEagleをドラフトモデルとして使用すると、そのタスクのために特別に構築されているため、標準的な小型LLMを使用する場合よりも優れたパフォーマンスが得られます。
vLLMの高度な実装ではあまり一般的ではありませんが、より単純な形式の投機的デコーディングも注目に値します。例えば、N-gramドラフト投機は、単純なN-gram言語モデル(または小さな非ニューラルモデル)を使用して次のk個のトークンを予測します。これは非常に高速ですが、ニューラルネットワークと比較してN-gramモデルの予測能力が限られているため、承認率が低くなることがよくあります。これは、より高度なニューラルベースの投機的デコーディングの初期の概念的基盤となりました。
高スループットLLMサービングで知られるvLLMは、投機的デコーディングを強力にサポートしています。これにより、複雑さの多くが抽象化され、ユーザーはいくつかのコマンドライン引数またはAPIパラメータで有効にすることができます。
投機的デコーディングを有効にするには、ターゲットモデルとドラフトモデルの両方を指定する必要があります。vLLMは、両方のロード、管理、および推論のオーケストレーションを処理します。
主要パラメータ:
--model: ターゲットLLMのパスまたは名前。--speculative-model: ドラフトLLMのパスまたは名前。--num-speculative-tokens: ドラフトモデルが1回の投機的ステップで生成する最大トークン数。これはkに対応します。値が高いほど、1ステップで検証されるトークンが多くなる可能性がありますが、ドラフトモデルの精度が十分でない場合、早期拒否の可能性も高まります。--draft-model-tp-size: ドラフトモデルのテンソル並列処理サイズ。--target-model-tp-size: ターゲットモデルのテンソル並列処理サイズ。Llama-3-70Bをターゲット、Llama-3-8BをドラフトモデルとしてvLLMを起動する方法をデモンストレーションします。これは、これらのモデル(例:Hugging Face Hubから)へのアクセスと十分なGPUリソースがあることを前提としています。
1. vLLMのインストール:
pip install vllm
2. 投機的デコーディングなしでvLLMを起動(ベースライン):
python -m vllm.entrypoints.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--tensor-parallel-size 2 \
--port 8000
注:Llama-3-70Bは通常、フル精度で少なくとも2x A100 80GB GPU、または量子化(例:AWQ、GPTQ)で1x A100 80GBを必要とします。
3. 投機的デコーディング(Llama-3-8Bドラフト)でvLLMを起動:
python -m vllm.entrypoints.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--speculative-model meta-llama/Meta-Llama-3-8B-Instruct \
--num-speculative-tokens 8 \
--tensor-parallel-size 2 \
--draft-model-tp-size 1 \
--port 8001
この構成では:
--model meta-llama/Meta-Llama-3-70B-Instruct: ターゲットモデルを指定します。--speculative-model meta-llama/Meta-Llama-3-8B-Instruct: ドラフトモデルを指定します。--num-speculative-tokens 8: ドラフトモデルは投機的に最大8トークンを生成しようとします。--tensor-parallel-size 2: ターゲットモデル(70B)は2つのGPUにシャードされます。--draft-model-tp-size 1: ドラフトモデル(8B)は単一のGPUで実行されます。vLLMは、利用可能なGPUの1つにドラフトモデルをインテリジェントに配置します。メモリが許せばターゲットモデルのシャードと共有することも、専用のGPUを使用することも可能です。4. 投機的デコーディング(Eagle-7Bドラフト)でvLLMを起動:
python -m vllm.entrypoints.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--speculative-model google/gemma-2b-it-eagle \
--num-speculative-tokens 12 \
--tensor-parallel-size 2 \
--draft-model-tp-size 1 \
--port 8002
ここでは、google/gemma-2b-it-eagleをEagleスタイルのドラフトモデルの例として使用しています。num-speculative-tokensは、Eagleモデルの最適化された性質と期待される高い承認率のため、より高くなる可能性があることに注意してください。
これらのサーバーとやり取りするには、vLLM Pythonクライアントを使用できます。
from openai import OpenAI
# Client for baseline (no speculative decoding)
client_baseline = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
# Client for speculative decoding with Llama-3-8B draft
client_spec_llama = OpenAI(api_key="EMPTY", base_url="http://localhost:8001/v1")
# Client for speculative decoding with Eagle-7B draft
client_spec_eagle = OpenAI(api_key="EMPTY", base_url="http://localhost:8002/v1")
def generate_text(client, prompt, max_tokens=128):
chat_completion = client.chat.completions.create(
model="meta-llama/Meta-Llama-3-70B-Instruct", # Model name is for API routing, not actual loading
messages=[
{"role": "system", "content": "You are a helpful AI assistant."},
{"role": "user", "content": prompt}
],
max_tokens=max_tokens,
temperature=0.7,
stream=False
)
return chat_completion.choices[0].message.content
prompt = "Explain the concept of quantum entanglement in simple terms."
print("--- Baseline Inference ---")
response_baseline = generate_text(client_baseline, prompt)
print(response_baseline)
print("\n--- Speculative Inference (Llama-3-8B Draft) ---")
response_spec_llama = generate_text(client_spec_llama, prompt)
print(response_spec_llama)
print("\n--- Speculative Inference (Eagle-7B Draft) ---")
response_spec_eagle = generate_text(client_spec_eagle, prompt)
print(response_spec_eagle)
投機的デコーディングの利点を定量化するには、厳密なベンチマークが不可欠です。ここでは、異なる構成間でのスループット、レイテンシー、およびリソース使用率を比較します。
ベンチマーク方法論:
vllm.benchmarks.benchmark_throughputを使用して、典型的な本番ワークロードをシミュレートします。このツールを使用すると、さまざまな負荷条件下での1秒あたりのトークン数(スループット)、最初のトークンのレイテンシー(FTL)、および合計レイテンシーを測定できます。
ハードウェア構成:
ベンチマークシナリオ:
--num-speculative-tokens 8)。--num-speculative-tokens 12)。収集されたメトリクス:
| 特徴 / メトリクス | Llama-3-70B (ベースライン) | Llama-3-70B + Llama-3-8B (投機的) | Llama-3-70B + Eagle-7B (投機的) |
|---|---|---|---|
| スループット (tokens/s) | 28.5 | 78.2 | 95.1 |
| スループット改善 | 1.0x | 2.74x | 3.34x |
| 最初のトークンのレイテンシー (ms) | 360 | 410 | 435 |
| 合計レイテンシー (128トークン, ms) | 5000 | 1800 | 1550 |
| GPUメモリ (GB) | 70.5 (2x A100) | 80.0 (2x A100) | 83.0 (2x A100) |
| 承認率 (%) | N/A | 72% | 88% |
| ドラフトモデルサイズ | N/A | 8Bパラメータ | 2Bパラメータ (Eagle) |
--num-speculative-tokens | N/A | 8 | 12 |
注:これらのメトリクスは例示的なものであり、同様のセットアップで観察される典型的なパフォーマンスに基づいています。実際の数値は、特定のハードウェア、vLLMバージョン、モデルの量子化、およびワークロードの特性によって異なる場合があります。
num-speculative-tokensパラメータは、ドラフトモデルの承認率と組み合わせて調整する必要があります。承認率が低いのに値が高すぎると、逆効果になる可能性があります。vLLMは投機的デコーディングのための高レベルでユーザーフレンドリーなインターフェースを提供しますが、NVIDIAのTensorRT-LLMは、特にNVIDIA GPU向けに、さらに深いレベルの最適化を提供します。TensorRT-LLMはLLMを高度に最適化された推論エンジンにコンパイルし、多くの場合、優れたパフォーマンスをもたらします。
TensorRT-LLMは投機的デコーディングもサポートしており、PyTorchや他の汎用バックエンドのみに依存するフレームワークよりも高いスループットと低いレイテンシーを達成することがよくあります。ドラフトモデルとターゲットモデルの順伝播、および検証ロジックの両方で、カスタムCUDAカーネルとハードウェア固有の最適化を活用しています。
本番環境での極端なパフォーマンス要件、特にNVIDIAハードウェアを使用する場合、投機的デコーディングのためにTensorRT-LLMを(直接またはそれをバックエンドとして使用するフレームワークを介して)統合すると、vLLM単独で提供される以上の追加の利点が得られます。vLLM自体は、特定のモデルでTensorRT-LLMと統合でき、vLLMの使いやすさとTensorRTの生のパフォーマンスを組み合わせることができます。
本番環境で投機的デコーディングをデプロイするには、安定性、パフォーマンス、費用対効果を確保するために、いくつかの要因を慎重に検討する必要があります。
num-speculative-tokensのチューニングnum-speculative-tokensを高く設定しすぎたり、低く設定しすぎたりすること。num-speculative-tokens値は、高い承認率(例:70-80%以上)をもたらし、同時に大幅な高速化を提供します。vLLMを用いた投機的デコーディング(speculative decoding)を利用する本番環境において、ターゲットモデルと比較して著しく小さく高速なドラフトモデルを選択する際の主なトレードオフは何ですか?
AI CLIログの整形、Cron式の作成、JWTの解析、chmod権限の計算をオフラインで実行。

sglangとvllmの高スループットLLM推論、RadixAttention、構造化デコーディングを、本番環境レベルのアーキテクチャとコード例で網羅的に解説するガイド。
続きを読む
LLM推論における連続動的バッチ処理について、Orca、vLLM、TGIのレイテンシベンチマークを、本番環境レベルのアーキテクチャとコード例で網羅的に解説する総合ガイドです。
続きを読む
vLLM PagedAttentionの詳細を、KVキャッシュメモリ断片化、チャンク化されたPrefill、Prefix Cachingに焦点を当て、本番環境レベルのアーキテクチャとコード例を交えて解説する包括的なガイドです。
続きを読む