·24 min read
vLLM vs Ollama: Thông lượng LLM cục bộ & Điểm chuẩn GPU
So sánh vLLM và Ollama để suy luận LLM cục bộ, với các điểm chuẩn cho Llama 3 và Mistral về PagedAttention, continuous batching, mức sử dụng VRAM và độ trễ token.
Technical Writings
Stories, tutorials, and deep dives spanning across diverse worlds.
Top Topics
14Showing 1–7 of 7 articles
·26 min read
Kiến trúc bộ nhớ tác nhân AI: Tích hợp Vector Store
Hướng dẫn kiến trúc để xây dựng hệ thống bộ nhớ tác nhân AI đa tầng sử dụng cửa sổ cuộn ngắn hạn, vector store dài hạn và duy trì trạng thái.
·25 min read
Claude API Function Calling: Hướng dẫn tối ưu hóa JSON Schema
Tối ưu hóa việc gọi công cụ Anthropic Claude API bằng Pydantic v2, thu gọn schema, lưu trữ prompt vào bộ nhớ đệm và xác thực đầu ra nghiêm ngặt để đạt độ tin cậy cao.
·24 min read
Tinh chỉnh Llama 3 với LoRA và Unsloth: Hướng dẫn dành cho nhà phát triển
Hướng dẫn từng bước dành cho nhà phát triển để tinh chỉnh Llama 3 với LoRA, QLoRA và Unsloth: custom Triton GPU kernels, gradient checkpointing và tiết kiệm bộ nhớ.
·26 min read
LangChain vs LlamaIndex (2026): Hướng dẫn xây dựng pipeline RAG sản xuất
So sánh kiến trúc của LangChain và LlamaIndex cho các pipeline RAG sản xuất: phân tích tài liệu, lập chỉ mục vector, định tuyến truy vấn và điểm chuẩn độ trễ.
·26 min read
Bộ nhớ đệm ngữ nghĩa với Redis và Qdrant để giảm chi phí LLM
Bản thiết kế kiến trúc để xây dựng các lớp bộ nhớ đệm ngữ nghĩa hiệu suất cao với Redis và Qdrant nhằm giảm 80% độ trễ API LLM và chi phí token.
·7 min read
Các tính năng nâng cao của Cursor IDE dành cho kỹ sư thực dụng: MCP, Rules và Agents năm 2026
Hướng dẫn thực tế về các tính năng mạnh mẽ nhất của Cursor IDE cho năm 2026. Tìm hiểu cách sử dụng Model Context Protocol, các quy tắc tùy chỉnh và Agents Window để viết code tốt hơn, nhanh hơn.