·34 min read
vLLMにおける投機的デコーディング：EagleとMedusaでLLM推論スループットを3倍に
vLLMにおける投機的デコーディングを解説し、EagleとMedusaでLLM推論スループットを3倍にする方法を、実証済みの本番環境での例を交えて深く掘り下げて解説するアーキテクチャガイドです。
Technical Writings
Stories, tutorials, and deep dives spanning across diverse worlds.
Top Topics
6Showing 1–4 of 4 articles
·26 min read
SGLang対vLLM:高スループットLLM推論、RadixAttentionと構造化デコーディング
sglangとvllmの高スループットLLM推論、RadixAttention、構造化デコーディングを、本番環境レベルのアーキテクチャとコード例で網羅的に解説するガイド。
·32 min read
vLLM PagedAttention詳細解説：KVキャッシュメモリ断片化、チャンク化されたPrefillとPrefix Caching
vLLM PagedAttentionの詳細を、KVキャッシュメモリ断片化、チャンク化されたPrefill、Prefix Cachingに焦点を当て、本番環境レベルのアーキテクチャとコード例を交えて解説する包括的なガイドです。
·26 min read
vLLMにおける投機的デコーディング：Medusa、EAGLE、マルチトークン投機による2.5倍の推論速度
vLLMにおける投機的デコーディング（Medusa、EAGLE、マルチトークン投機）を網羅的に解説し、本番環境レベルのアーキテクチャとコード例で2.5倍の推論速度を実現します。