Technical Writings

vLLM vs Ollama: Thông lượng LLM cục bộ & Điểm chuẩn GPU

So sánh vLLM và Ollama để suy luận LLM cục bộ, với các điểm chuẩn cho Llama 3 và Mistral về PagedAttention, continuous batching, mức sử dụng VRAM và độ trễ token.