Chạy Mô hình AI Cục bộ với Ollama: Hành trình từ Hóa đơn Máy chủ đến Phát triển Ưu tiên Quyền riêng tư

Tôi vẫn còn nhớ cảm giác sốc khi kiểm tra hóa đơn OpenAI của mình. Hai trăm đô la. Cho một dự án cá nhân mà tôi hầu như không kiếm được tiền.

Chi phí API đã tăng lên một cách âm thầm. Từ vài xu để thử nghiệm, nó đã trở thành hàng trăm đô la khi đưa vào sản xuất. Tôi đã xây dựng một công cụ tài liệu tự động giải thích mã, và mỗi khi người dùng chạy một truy vấn, chi phí của tôi lại tăng lên.

Đó là lúc tôi quyết định chuyển sang chạy cục bộ.

Ollama Thực Sự Là Gì?

Ollama là một công cụ dòng lệnh chạy các mô hình AI trên phần cứng của riêng bạn. Không máy chủ. Không đám mây. Không hóa đơn hàng tháng.

Tôi lần đầu tiên nghe về nó từ một đồng nghiệp đang chạy Llama 2 trên MacBook của anh ấy. Tôi không tin anh ấy. "Bạn không thể chạy một mô hình ngôn ngữ hữu ích trên một chiếc máy tính xách tay," tôi nói. Tôi đã sai.

Việc thiết lập mất khoảng hai mươi phút. Tôi tải ứng dụng, chạy một lệnh, và đột nhiên Mistral 7B sống trên máy của tôi, sẵn sàng trả lời các câu hỏi mà không cần gọi về máy chủ.

Nghe có vẻ quá tốt để là sự thật? Tôi cũng nghĩ vậy, cho đến khi tôi thấy nó hoạt động.

Bắt Đầu Mất Chưa Đến Một Giờ

Cài đặt khác nhau tùy theo hệ điều hành. Trên macOS, bạn tải ứng dụng từ ollama.ai và bạn đã hoàn tất. Trên Linux, đó là một lệnh curl duy nhất:

curl -fsSL https://ollama.ai/install.sh | sh

Người dùng Windows cần WSL2, điều này gây ra một số khó khăn. Tôi sẽ không nói dối về điều đó. Nhưng một khi nó chạy, trải nghiệm là như nhau trên các nền tảng.

Cuộc trò chuyện đầu tiên của tôi với Mistral giống như phép thuật. Tôi yêu cầu nó giải thích một mẫu regex phức tạp mà tôi đã vật lộn, và nó đã phân tích nó trong vài giây. Không có độ trễ từ một máy chủ xa xôi. Không giới hạn token. Chỉ có câu trả lời.

Bạn Nên Bắt Đầu Với Mô Hình Nào?

Điều này làm tôi bối rối lúc đầu. Có hàng tá mô hình có sẵn. Llama 3, Mistral, Phi, Gemma, Code Llama. Bạn thực sự muốn cái nào?

Đây là những gì tôi đã học được qua thử và sai.

Đối với các câu hỏi mã hóa chung, Mistral 7B là công cụ hàng ngày của tôi. Nó nhanh, chính xác và không ngốn hết RAM của bạn. Tôi chạy nó cùng với VS Code và quên mất nó đang ở đó.

Để giải thích các cơ sở mã không quen thuộc, Llama 3 8B tốt một cách đáng ngạc nhiên. Nó tốt hơn trong việc tuân theo các hướng dẫn phức tạp và duy trì ngữ cảnh trong các cuộc trò chuyện dài hơn.

Để tạo mã, Code Llama 7B xứng đáng với tên gọi của nó. Nó không hoàn hảo, nhưng nó hiểu các ngôn ngữ mà các mô hình chung thường gặp khó khăn. Tôi đã sử dụng nó để tạo khung toàn bộ các hàm trong Rust và Haskell nơi ChatGPT thường xuyên tạo ra cú pháp sai.

Còn các mô hình lớn hơn thì sao? Llama 3 70B thuộc một loại khác. Bạn sẽ cần phần cứng nghiêm túc để chạy nó một cách thoải mái. Tôi có 32GB RAM và tôi vẫn cảm thấy căng thẳng.

Thực Tế Về Phần Cứng

Tôi sẽ không giả vờ rằng bất kỳ máy tính xách tay nào cũng có thể chạy các mô hình này. Cấu hình của tôi là một MacBook Pro với M2 Max và 32GB bộ nhớ hợp nhất. Tôi biết không phải ai cũng có cái này, và tôi không ở đây để khoe khoang.

Đây là những gì tôi đã quan sát: hầu hết các máy hiện đại có thể chạy các mô hình tham số 7B. Các mô hình 13B thì hên xui. Bất cứ thứ gì trên đó thực sự cần phần cứng tốt hơn hoặc sự kiên nhẫn nghiêm túc.

Nút thắt cổ chai gần như luôn là RAM. Ollama hiển thị cho bạn mức sử dụng bộ nhớ khi bạn khởi động một mô hình. Hãy theo dõi con số đó. Nếu nó gần với bộ nhớ khả dụng của bạn, bạn sẽ cảm thấy máy của mình chậm lại đáng kể.

Tôi đã nói chuyện với các nhà phát triển chạy Ollama trên các máy Linux với RTX 3060. Tăng tốc GPU tạo ra sự khác biệt rất lớn. Nếu bạn nghiêm túc về điều này, một GPU NVIDA trong cấu hình của bạn rất đáng để cân nhắc.

Quy Trình Làm Việc Thực Tế Của Tôi Sau Sáu Tháng

Sử dụng Ollama trong thực tế khác với quảng cáo. Tôi đã phát triển những thói quen khiến nó thực sự hữu ích chứ không chỉ là một điều mới lạ.

Tôi đã bọc Ollama bằng một máy chủ HTTP đơn giản để các công cụ hiện có của tôi có thể giao tiếp với nó. Hầu hết các plugin hỗ trợ AI đều hỗ trợ các endpoint tương thích với OpenAI. Ollama hỗ trợ giao thức đó ngay lập tức. Tôi đã trỏ các công cụ của mình đến localhost và chúng hoạt động.

Góc Độ Riêng Tư Mà Không Ai Nói Đủ

Đây là điều đã thuyết phục tôi hơn bất kỳ lập luận về chi phí nào: mã của tôi vẫn nằm trên máy của tôi.

Khi tôi gửi một lời nhắc đến một API, tôi đang giao cho bên thứ ba mã chưa hoàn thành, có thể có lỗi, có khả năng bí mật của mình. Tôi đã ký các NDA có lẽ bao gồm điều này. Tôi vẫn cảm thấy không thoải mái.

Với Ollama, cuộc trò chuyện không bao giờ rời khỏi máy tính xách tay của tôi. Điều đó quan trọng khi bạn đang làm việc trên các hệ thống độc quyền hoặc bất cứ thứ gì liên quan đến dữ liệu nhạy cảm.

Tôi đã từng giúp một công ty khởi nghiệp chăm sóc sức khỏe đánh giá các tùy chọn AI cục bộ. Họ không thể gửi hồ sơ bệnh nhân qua các API bên ngoài do lo ngại về HIPAA. Ollama chạy trên máy chủ của riêng họ đã giải quyết một vấn đề mà các nhà cung cấp API đơn giản là không thể chạm tới.

Quyền riêng tư có phải là mối quan tâm cho dự án của bạn không? Nếu có, các mô hình cục bộ có thể là câu trả lời mà bạn đang tìm kiếm.

Những Gì Đang Hỏng Và Những Gì Cần Cải Thiện

Tôi đã chỉ trích cho đến nay vì tôi muốn bạn có những kỳ vọng thực tế. Ollama không phải là không có vấn đề.

Cửa sổ ngữ cảnh nhỏ hơn so với các API thương mại. Mistral 7B xử lý khoảng 8.000 token một cách thoải mái. Điều đó tốt cho hầu hết các tác vụ. Nó không đủ nếu bạn đang cố gắng phân tích một cơ sở mã khổng lồ trong một cuộc trò chuyện.

Chất lượng mô hình thay đổi. Tôi đã thấy Code Llama tạo ra những điều vô nghĩa mà Mistral sẽ không bao giờ gợi ý. Bạn không có được sự nhất quán của GPT-4. Có sự hiệu chỉnh liên quan đến việc biết mô hình nào đáng tin cậy cho tác vụ nào.

Không có giao diện trò chuyện tích hợp cho đến gần đây. Ứng dụng Ollama mới trên macOS giúp ích, nhưng hầu hết các tương tác vẫn diễn ra trong terminal. Nếu bạn không thoải mái với điều đó, điều này có thể không dành cho bạn.

Bạn Có Nên Chuyển Đổi?

Tôi đã cắt giảm hóa đơn API của mình xuống gần như bằng không. Chỉ riêng điều đó đã đáng giá công sức di chuyển.

Nhưng chiến thắng lớn hơn đối với tôi là thay đổi cách tôi nghĩ về các công cụ AI. Các mô hình cục bộ có những điểm mạnh khác so với các mô hình đám mây. Chúng riêng tư, nhanh chóng và miễn phí ở quy mô lớn. Chúng cũng đòi hỏi nhiều tinh chỉnh và sự chấp nhận sự không hoàn hảo.

Bạn đang xây dựng một thứ mà chi phí và quyền riêng tư quan trọng hơn khả năng tiên tiến? Vậy thì, hãy chuyển đổi.

Bạn đang giải quyết các vấn đề khó khăn đòi hỏi khả năng suy luận tốt nhất hiện có? Có lẽ hãy giữ các API đám mây cho những vấn đề đó, và sử dụng Ollama cho mọi thứ khác.

Bây giờ tôi sử dụng cả hai. Đám mây cho những việc khó, cục bộ cho mọi thứ tôi có thể làm được. Đó là điều tốt nhất của cả hai thế giới, và hóa ra tôi có thể chi trả cho cả hai.

Trải nghiệm của bạn với các mô hình AI cục bộ như thế nào? Hãy để lại bình luận bên dưới. Tôi đọc mọi phản hồi, và tôi tò mò muốn biết những người khác đang chạy gì trên phần cứng của họ.

Bạn Cũng Có Thể Thích

• vLLM vs Ollama: Thông lượng LLM cục bộ & Điểm chuẩn GPU
• Bộ nhớ đệm ngữ nghĩa với Redis và Qdrant để giảm chi phí LLM
• Xây dựng giao diện người dùng dựa trên ý định: Tương lai của phát triển frontend
• Di chuyển từ Jest sang Vitest: Hướng dẫn thực tế