·24 min read
vLLM vs Ollama: Thông lượng LLM cục bộ & Điểm chuẩn GPU
So sánh vLLM và Ollama để suy luận LLM cục bộ, với các điểm chuẩn cho Llama 3 và Mistral về PagedAttention, continuous batching, mức sử dụng VRAM và độ trễ token.
Technical Writings
Stories, tutorials, and deep dives spanning across diverse worlds.
Top Topics
7Showing 1–2 of 2 articles
·11 min read
Chạy Mô hình AI Cục bộ với Ollama: Hành trình từ Hóa đơn Máy chủ đến Phát triển Ưu tiên Quyền riêng tư
Tìm hiểu cách chạy các LLM mã nguồn mở cục bộ miễn phí với Ollama: lượng tử hóa mô hình, tăng tốc GPU, tích hợp REST API và quy trình làm việc AI ngoại tuyến riêng tư.