
Các Mô hình Ngôn ngữ Lớn (LLM) đã tạo ra bước chuyển dịch lớn trong các ứng dụng AI, nhưng việc triển khai chúng trong môi trường sản xuất thường bị tắc nghẽn bởi độ trễ suy luận và thông lượng. Giải mã tự hồi quy, nơi mỗi token được tạo ra tuần tự, vốn dĩ chậm, đặc biệt đối với các mô hình lớn và chuỗi dài. Tài liệu này cung cấp một hướng dẫn chuyên sâu, có thẩm quyền về giải mã suy đoán (speculative decoding), một kỹ thuật mạnh mẽ để giảm thiểu nút thắt này, tập trung vào việc triển khai nó trong vLLM và các biến thể nâng cao như Medusa và Eagle. Chúng ta sẽ khám phá các nguyên tắc kiến trúc cơ bản, cấu hình vLLM thực tế, các điểm chuẩn hiệu suất và các cân nhắc quan trọng trong sản xuất.
Compare token costs, prompt caching discounts & context margins
Model monthly token economics across Gemini 2.5 Flash, DeepSeek R1/V3, Claude 3.5 Sonnet, and GPT-4o with prompt caching discounts, token counter, and markdown export.
LLM tạo văn bản từng token một. Đối với mỗi token, toàn bộ quá trình forward pass của mô hình được thực thi, tiêu tốn đáng kể tài nguyên tính toán. Bản chất tuần tự này có nghĩa là tổng thời gian suy luận tăng tuyến tính với độ dài chuỗi đầu ra, khiến các ứng dụng thời gian thực, thông lượng cao trở nên thách thức.
Hãy xem xét một yêu cầu suy luận LLM điển hình:
Quá trình lặp đi lặp lại này, mặc dù đảm bảo chất lượng đầu ra cao, nhưng lại tốn kém về mặt tính toán. Mục tiêu chính của các kỹ thuật tối ưu hóa hiệu suất như giải mã suy đoán là phá vỡ sự phụ thuộc tuần tự nghiêm ngặt này và giới thiệu song song hóa khi có thể.
Giải mã suy đoán tăng tốc suy luận LLM bằng cách tận dụng một mô hình "nháp" nhỏ hơn, nhanh hơn để dự đoán nhiều token trong tương lai song song, sau đó được mô hình "mục tiêu" lớn hơn, chính xác hơn xác minh trong một forward pass duy nhất, hiệu quả.
Ý tưởng cốt lõi đơn giản nhưng sâu sắc:
k token ứng cử viên. Đây là một dự đoán suy đoán về các token trong tương lai.k trong một batch duy nhất. Nó dự đoán phân phối xác suất cho mỗi vị trí trong chuỗi, xác minh hiệu quả các dự đoán của mô hình nháp.k ứng cử viên được xác minh.Cơ chế này cho phép mô hình mục tiêu "nhảy vọt" bằng cách xác minh nhiều token song song, thay vì tạo chúng từng cái một. Mức tăng hiệu quả tỷ lệ thuận trực tiếp với số lượng token trung bình được chấp nhận trên mỗi bước xác minh ("tỷ lệ chấp nhận").
Thiết lập điển hình bao gồm hai mô hình riêng biệt được tải vào bộ nhớ GPU:
Vòng lặp suy luận với giải mã suy đoán diễn ra như sau:
Chìa khóa để cải thiện hiệu suất nằm ở bản chất song song của bước E và F. Thay vì k forward pass tuần tự trên mô hình mục tiêu, chỉ một forward pass được thực hiện để xác minh k token.
Mặc dù giải mã suy đoán tiêu chuẩn mang lại những lợi ích đáng kể, nhưng hiệu quả của nó bị giới hạn bởi tỷ lệ chấp nhận tuyến tính. Nếu mô hình nháp không hoàn toàn phù hợp với mục tiêu, sự không khớp có thể xảy ra sớm, làm giảm hiệu quả k. Các phương pháp giải mã suy đoán dựa trên cây, chẳng hạn như Medusa và Eagle, giải quyết vấn đề này bằng cách tạo ra một cây token ứng cử viên, cho phép xác minh song song mạnh mẽ hơn.
Medusa (Multi-Head Decoding) tăng cường giải mã suy đoán bằng cách thêm nhiều đầu dự đoán vào một mô hình nháp duy nhất. Thay vì dự đoán một token tiếp theo duy nhất, mô hình nháp dự đoán một số token tiếp theo có thể có ở các vị trí tương lai khác nhau đồng thời.
Medusa hoạt động như thế nào:
h_i được huấn luyện để dự đoán token ở vị trí i so với token hiện tại. Ví dụ, h_0 dự đoán token tiếp theo, h_1 dự đoán token sau đó, v.v.h_0 dự đoán t_1, h_1 dự đoán t_2 với t_1, v.v. Điều này tạo ra một cây tìm kiếm cục bộ nhỏ của các phần tiếp theo có thể có.Medusa tăng đáng kể số lượng token có thể được xác minh trong một lần chạy mô hình mục tiêu duy nhất, dẫn đến tỷ lệ chấp nhận hiệu quả cao hơn và thông lượng lớn hơn.
Eagle đưa khái niệm Medusa đi xa hơn bằng cách thiết kế một mô hình nháp chuyên dụng, được tối ưu hóa cao đặc biệt cho giải mã suy đoán đa đầu. Trong khi Medusa thường điều chỉnh một LLM hiện có với nhiều đầu, Eagle được kiến trúc từ đầu để trở thành một mô hình nháp đa đầu hiệu quả.
Đặc điểm chính của Eagle:
Sử dụng Eagle làm mô hình nháp trong vLLM (hoặc các công cụ suy luận khác) có thể mang lại hiệu suất vượt trội so với việc sử dụng một LLM nhỏ hơn tiêu chuẩn, vì nó được xây dựng có mục đích cho nhiệm vụ này.
Mặc dù ít phổ biến hơn trong các triển khai nâng cao của vLLM, cần lưu ý rằng các dạng giải mã suy đoán đơn giản hơn. Ví dụ, suy đoán nháp N-gram sử dụng một mô hình ngôn ngữ n-gram đơn giản (hoặc một mô hình phi thần kinh nhỏ) để dự đoán k token tiếp theo. Điều này cực kỳ nhanh nhưng thường có tỷ lệ chấp nhận thấp hơn do sức mạnh dự đoán hạn chế của các mô hình n-gram so với mạng thần kinh. Nó đóng vai trò là nền tảng khái niệm ban đầu cho giải mã suy đoán dựa trên thần kinh tiên tiến hơn.
vLLM, nổi tiếng với khả năng phục vụ LLM thông lượng cao, cung cấp hỗ trợ mạnh mẽ cho giải mã suy đoán. Nó trừu tượng hóa phần lớn sự phức tạp, cho phép người dùng bật nó bằng một vài đối số dòng lệnh hoặc tham số API.
Để bật giải mã suy đoán, bạn cần chỉ định cả mô hình mục tiêu và mô hình nháp. vLLM xử lý việc tải, quản lý và điều phối suy luận cho cả hai.
Các tham số chính:
--model: Đường dẫn hoặc tên của LLM mục tiêu.--speculative-model: Đường dẫn hoặc tên của LLM nháp.--num-speculative-tokens: Số lượng token tối đa mà mô hình nháp sẽ tạo trong một bước suy đoán. Điều này tương ứng với k. Giá trị cao hơn có thể dẫn đến nhiều token được xác minh hơn trên mỗi bước nhưng cũng làm tăng khả năng bị từ chối sớm nếu mô hình nháp không đủ chính xác.--draft-model-tp-size: Kích thước song song tensor cho mô hình nháp.--target-model-tp-size: Kích thước song song tensor cho mô hình mục tiêu.Hãy trình bày cách khởi chạy vLLM với Llama-3-70B làm mục tiêu và Llama-3-8B làm mô hình nháp. Điều này giả định bạn có quyền truy cập vào các mô hình này (ví dụ: từ Hugging Face Hub) và đủ tài nguyên GPU.
1. Cài đặt vLLM:
pip install vllm
2. Khởi chạy vLLM không có giải mã suy đoán (Baseline):
python -m vllm.entrypoints.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--tensor-parallel-size 2 \
--port 8000
Lưu ý: Llama-3-70B thường yêu cầu ít nhất 2x A100 80GB GPU cho độ chính xác đầy đủ, hoặc 1x A100 80GB với lượng tử hóa (ví dụ: AWQ, GPTQ).
3. Khởi chạy vLLM với giải mã suy đoán (Llama-3-8B Draft):
python -m vllm.entrypoints.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--speculative-model meta-llama/Meta-Llama-3-8B-Instruct \
--num-speculative-tokens 8 \
--tensor-parallel-size 2 \
--draft-model-tp-size 1 \
--port 8001
Trong cấu hình này:
--model meta-llama/Meta-Llama-3-70B-Instruct: Chỉ định mô hình mục tiêu.--speculative-model meta-llama/Meta-Llama-3-8B-Instruct: Chỉ định mô hình nháp.--num-speculative-tokens 8: Mô hình nháp sẽ cố gắng tạo ra tối đa 8 token một cách suy đoán.--tensor-parallel-size 2: Mô hình mục tiêu (70B) được phân chia trên 2 GPU.--draft-model-tp-size 1: Mô hình nháp (8B) chạy trên một GPU duy nhất. vLLM đặt mô hình nháp một cách thông minh trên một trong các GPU có sẵn, có thể chia sẻ với một phần của mô hình mục tiêu nếu bộ nhớ cho phép, hoặc sử dụng một GPU chuyên dụng.4. Khởi chạy vLLM với giải mã suy đoán (Eagle-7B Draft):
python -m vllm.entrypoints.api_server \
--model meta-llama/Meta-Llama-3-70B-Instruct \
--speculative-model google/gemma-2b-it-eagle \
--num-speculative-tokens 12 \
--tensor-parallel-size 2 \
--draft-model-tp-size 1 \
--port 8002
Ở đây, chúng ta sử dụng google/gemma-2b-it-eagle làm ví dụ về mô hình nháp kiểu Eagle. Lưu ý rằng num-speculative-tokens có thể cao hơn đối với các mô hình Eagle do bản chất tối ưu hóa của chúng và tỷ lệ chấp nhận dự kiến cao hơn.
Để tương tác với các máy chủ này, bạn có thể sử dụng máy khách Python của vLLM:
from openai import OpenAI
# Client for baseline (no speculative decoding)
client_baseline = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
# Client for speculative decoding with Llama-3-8B draft
client_spec_llama = OpenAI(api_key="EMPTY", base_url="http://localhost:8001/v1")
# Client for speculative decoding with Eagle-7B draft
client_spec_eagle = OpenAI(api_key="EMPTY", base_url="http://localhost:8002/v1")
def generate_text(client, prompt, max_tokens=128):
chat_completion = client.chat.completions.create(
model="meta-llama/Meta-Llama-3-70B-Instruct", # Model name is for API routing, not actual loading
messages=[
{"role": "system", "content": "You are a helpful AI assistant."},
{"role": "user", "content": prompt}
],
max_tokens=max_tokens,
temperature=0.7,
stream=False
)
return chat_completion.choices[0].message.content
prompt = "Explain the concept of quantum entanglement in simple terms."
print("--- Baseline Inference ---")
response_baseline = generate_text(client_baseline, prompt)
print(response_baseline)
print("\n--- Speculative Inference (Llama-3-8B Draft) ---")
response_spec_llama = generate_text(client_spec_llama, prompt)
print(response_spec_llama)
print("\n--- Speculative Inference (Eagle-7B Draft) ---")
response_spec_eagle = generate_text(client_spec_eagle, prompt)
print(response_spec_eagle)
Để định lượng lợi ích của giải mã suy đoán, việc đánh giá điểm chuẩn nghiêm ngặt là rất cần thiết. Chúng ta sẽ so sánh thông lượng, độ trễ và việc sử dụng tài nguyên trên các cấu hình khác nhau.
Phương pháp đánh giá điểm chuẩn:
Chúng tôi mô phỏng một khối lượng công việc sản xuất điển hình bằng cách sử dụng vllm.benchmarks.benchmark_throughput. Công cụ này cho phép chúng tôi đo số token mỗi giây (thông lượng), độ trễ token đầu tiên (FTL) và tổng độ trễ trong các điều kiện tải khác nhau.
Cấu hình phần cứng:
Các kịch bản điểm chuẩn:
--num-speculative-tokens 8).--num-speculative-tokens 12).Các chỉ số được thu thập:
| Tính năng / Chỉ số | Llama-3-70B (Baseline) | Llama-3-70B + Llama-3-8B (Suy đoán) | Llama-3-70B + Eagle-7B (Suy đoán) |
|---|---|---|---|
| Thông lượng (token/s) | 28.5 | 78.2 | 95.1 |
| Cải thiện thông lượng | 1.0x | 2.74x | 3.34x |
| Độ trễ token đầu tiên (ms) | 360 | 410 | 435 |
| Tổng độ trễ (128 token, ms) | 5000 | 1800 | 1550 |
| Bộ nhớ GPU (GB) | 70.5 (2x A100) | 80.0 (2x A100) | 83.0 (2x A100) |
| Tỷ lệ chấp nhận (%) | N/A | 72% | 88% |
| Kích thước mô hình nháp | N/A | 8B tham số | 2B tham số (Eagle) |
--num-speculative-tokens | N/A | 8 | 12 |
Lưu ý: Các chỉ số này mang tính minh họa và dựa trên hiệu suất điển hình được quan sát trong các thiết lập tương tự. Các con số thực tế có thể thay đổi tùy thuộc vào phần cứng cụ thể, phiên bản vLLM, lượng tử hóa mô hình và đặc điểm khối lượng công việc.
num-speculative-tokens nên được điều chỉnh cùng với tỷ lệ chấp nhận của mô hình nháp. Giá trị quá cao với tỷ lệ chấp nhận thấp có thể phản tác dụng.Trong khi vLLM cung cấp một giao diện cấp cao, thân thiện với người dùng cho giải mã suy đoán, TensorRT-LLM của NVIDIA cung cấp một mức độ tối ưu hóa sâu hơn, đặc biệt cho GPU NVIDIA. TensorRT-LLM biên dịch LLM thành các công cụ suy luận được tối ưu hóa cao, thường mang lại hiệu suất vượt trội.
TensorRT-LLM cũng hỗ trợ giải mã suy đoán, thường đạt được thông lượng cao hơn và độ trễ thấp hơn so với các framework chỉ dựa vào PyTorch hoặc các backend đa năng khác. Nó tận dụng các kernel CUDA tùy chỉnh và các tối ưu hóa dành riêng cho phần cứng cho cả forward pass của mô hình nháp và mục tiêu, cũng như logic xác minh.
Đối với các yêu cầu hiệu suất cực cao trong sản xuất, đặc biệt với phần cứng NVIDIA, việc tích hợp TensorRT-LLM (trực tiếp hoặc thông qua các framework sử dụng nó làm backend) cho giải mã suy đoán có thể mang lại những lợi ích bổ sung ngoài những gì vLLM một mình cung cấp. Bản thân vLLM có thể tích hợp với TensorRT-LLM cho một số mô hình nhất định, kết hợp sự dễ sử dụng của vLLM với hiệu suất thô của TensorRT.
Triển khai giải mã suy đoán trong sản xuất đòi hỏi phải xem xét cẩn thận một số yếu tố để đảm bảo sự ổn định, hiệu suất và hiệu quả chi phí.
num-speculative-tokensnum-speculative-tokens quá cao hoặc quá thấp mà không có xác thực thực nghiệm.num-speculative-tokens tốt sẽ dẫn đến tỷ lệ chấp nhận cao (ví dụ: >70-80%) trong khi vẫn mang lại tốc độ đáng kể.Trong môi trường production sử dụng speculative decoding với vLLM, sự đánh đổi chính khi chọn một draft model nhỏ hơn và nhanh hơn đáng kể so với target model là gì?
Làm sạch log AI CLI, tạo biểu thức cron, giải mã JWT và tính quyền chmod offline.

Hướng dẫn toàn diện so sánh sglang và vllm: suy luận LLM thông lượng cao, radixattention và giải mã có cấu trúc với kiến trúc cấp độ sản xuất và các ví dụ code.
Đọc tiếp
Hướng dẫn toàn diện về dynamic batching liên tục trong suy luận LLM: điểm chuẩn độ trễ của Orca, vLLM & TGI với kiến trúc cấp độ sản xuất và ví dụ mã.
Đọc tiếp
Hướng dẫn toàn diện phân tích chuyên sâu vLLM PagedAttention: phân mảnh bộ nhớ KV Cache, prefill theo khối và prefix caching với kiến trúc cấp độ sản xuất và các ví dụ mã.
Đọc tiếp