Giải pháp · Mô hình cục bộ

VPS cho Ollama

Ollama phục vụ các mô hình mở qua một API cục bộ, và quy tắc cứng duy nhất là mô hình phải vừa với bộ nhớ: mô hình 8 tỷ tham số là bản tải về 4.9 GB, mô hình 70B là 42.5 GB. Trên CPU, nó trả lời với tốc độ vài token mỗi giây, đủ cho một trợ lý riêng, tác vụ hàng loạt và embedding, nhưng không đủ cho một sản phẩm chat. BD-8 giá $12.90 chạy các mô hình 8B; BD-64 giá $84.90 chạy các mô hình 70B.

Triển khai BD-8 Triển khai C4-8-160 có cài sẵn Ollama

Những gì nó cần

Phần mềm theo tài liệu chính thức, cấu hình ghi rõ nguồn

Phần mềm và cách thiết lập bảo mật lấy từ tài liệu của chính dự án. Khi dự án không công bố thông số phần cứng, cấu hình sẽ ghi rõ con số đó là của ai.

Theo docs.ollama.com và kho mô hình

Cài đặt: curl -fsSL https://ollama.com/install.sh | sh, tạo người dùng ollama và một dịch vụ systemd.
Mặc định nó lắng nghe trên 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 mở nó ra ngoài, và bản thân Ollama không có xác thực, vì vậy hãy đặt một proxy có xác thực đứng trước trước đã.
Mô hình nằm trong /usr/share/ollama/.ollama/models; kích thước theo kho: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
GPU là tùy chọn: không có GPU, mô hình chạy trên CPU và RAM, chậm; có GPU, mô hình chạy từ VRAM, nhanh.

Cấu hình (do chúng tôi đề xuất: mô hình phải vừa RAM, có dư)

Chọn cấu hình theo mục đích sử dụng
Khối lượng công việc	vCPU	RAM
Mô hình 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Trợ lý, tóm tắt, embedding. Vài token mỗi giây trên CPU.	4	8 GB
Mô hình 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Câu trả lời tốt hơn rõ rệt, chậm hơn rõ rệt.	6	16 GB
Mô hình 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Dùng được cho tác vụ hàng loạt, không dành cho người dùng đang chờ.	8	32 GB
Mô hình 70B (llama3.3:70b 42.5 GB)Vừa. Chậm. Với nhu cầu tương tác, máy chủ GPU mới là câu trả lời trung thực.	16	64 GB

Các gói phù hợp

4 máy, giá trực tiếp

Sắp xếp theo bộ nhớ, thứ quyết định mô hình. Giá là giá hôm nay, theo tháng, lấy từ danh mục.

BD-8$12.90/tháng
4 vCPU · 8 GB · 100 GB ổ đĩa · 32 TB
8 GB: các mô hình 8B. 4 vCPU, 8 GB, 100 GB cho các bản tải về. Chạy llama3.1:8b, qwen3:8b, gemma3:4b. Bạn tự dán lệnh cài một dòng.
Triển khai
U6-16-120$47.90/tháng
6 vCPU · 16 GB · 120 GB ổ đĩa · Unmetered
16 GB: các mô hình 14B, Unmetered, Istanbul. 6 vCPU và 16 GB chạy qwen3:14b và gemma3:12b; lưu lượng không tính để tải mô hình thoải mái.
Triển khai
BD-64$84.90/tháng
16 vCPU · 64 GB · 500 GB ổ đĩa · 32 TB
64 GB: đến 70B, 16 nhân. Máy rẻ nhất trên trang này chứa vừa llama3.3:70b hoặc qwen3:32b trong bộ nhớ. Với các mô hình lớn, hãy chờ đợi khoảng một hai token mỗi giây.
Triển khai
C4-8-160$75.90/tháng
4 vCPU · 8 GB · 160 GB ổ đĩa · 3 TB
8 GB, được giao với Ollama đã cài sẵn. Preset cài dịch vụ trên nhà cung cấp có chạy script khởi động; 160 GB ổ đĩa cho một thư viện mô hình.
Triển khai kèm cài đặt

Các gói phù hợp, kèm giá trực tiếp
Gói	vCPU	RAM	Ổ đĩa	Lưu lượng	Giá	Triển khai
BD-88 GB: các mô hình 8B4 vCPU, 8 GB, 100 GB cho các bản tải về. Chạy llama3.1:8b, qwen3:8b, gemma3:4b. Bạn tự dán lệnh cài một dòng.	4	8 GB	100 GB	32 TB	$12.90/tháng	Triển khai
U6-16-12016 GB: các mô hình 14B, Unmetered, Istanbul6 vCPU và 16 GB chạy qwen3:14b và gemma3:12b; lưu lượng không tính để tải mô hình thoải mái.	6	16 GB	120 GB	Unmetered	$47.90/tháng	Triển khai
BD-6464 GB: đến 70B, 16 nhânMáy rẻ nhất trên trang này chứa vừa llama3.3:70b hoặc qwen3:32b trong bộ nhớ. Với các mô hình lớn, hãy chờ đợi khoảng một hai token mỗi giây.	16	64 GB	500 GB	32 TB	$84.90/tháng	Triển khai
C4-8-1608 GB, được giao với Ollama đã cài sẵnPreset cài dịch vụ trên nhà cung cấp có chạy script khởi động; 160 GB ổ đĩa cho một thư viện mô hình.	4	8 GB	160 GB	3 TB	$75.90/tháng	Triển khai kèm cài đặt

“Triển khai bản đã cài” mở trình cấu hình với script khởi động Ollama của chúng tôi trong ô script khởi động, đầy đủ, trước khi bạn mua. Script cài dịch vụ và không tải gì; bạn tự chọn mô hình. Ở các dòng khác, việc cài đặt chỉ là dán một dòng lệnh.

Cài đặt

Bốn bước

Cài đặt, tải một mô hình vừa máy, trò chuyện với nó, giữ nó riêng tư.

Cài đặt. curl -fsSL https://ollama.com/install.sh | sh Dịch vụ chạy trên 127.0.0.1:11434 và tự khởi động lại sau khi máy khởi động lại.
Tải một mô hình vừa với máy này. ollama pull llama3.1:8b trên 8 GB; qwen3:14b trên 16 GB; gemma3:27b hoặc qwen3:32b trên 32 GB; llama3.3:70b trên 64 GB.
Sử dụng. ollama run llama3.1:8b, hoặc qua API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Từ máy tính xách tay của bạn: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
Chỉ sau đó mới mở ra ngoài, có xác thực. systemctl edit ollama.service với Environment="OLLAMA_HOST=0.0.0.0:11434" giúp truy cập được từ bên ngoài; một reverse proxy có mật khẩu hoặc API key đứng trước là bắt buộc, vì Ollama không có xác thực.

Nói thẳng

Gói chúng tôi thực sự sẽ mua

Hãy chọn theo mô hình bạn thực sự sẽ chạy, và hiểu suy luận trên CPU ra sao trước khi mua.

Cho các mô hình 8B

BD-8 · $12.90/tháng

4 vCPU và 8 GB giá $12.90 chạy llama3.1:8b hoặc qwen3:8b vẫn còn dư, với vài token mỗi giây: phù hợp cho một trợ lý riêng bạn tự trò chuyện, tóm tắt hằng đêm, hoặc embedding cho chỉ mục tìm kiếm. Nếu bạn muốn câu trả lời cỡ 27B, BD-64 giá $84.90 chứa được chúng và cả các mô hình 70B, chậm. Nếu sẽ có người chờ câu trả lời, hãy thôi đọc trang này và xem dòng GPU.

Triển khai BD-8 BD-64 cho các mô hình lớn

Câu hỏi

Những điều mọi người hỏi trước khi mua.

Ollama cần bao nhiêu RAM?

Bằng kích thước mô hình cộng thêm một chút dư: tệp mô hình được nạp vào bộ nhớ. Kho của Ollama ghi llama3.1:8b là 4.9 GB, qwen3:14b là 9.3 GB, gemma3:27b là 17.4 GB, qwen3:32b là 20.2 GB và llama3.3:70b là 42.5 GB, nên các hạng là 8, 16, 32 và 64 GB. Hệ điều hành và bản thân Ollama cần thêm một hai gigabyte. Mô hình không vừa sẽ hoặc không nạp được, hoặc phải dùng swap, còn tệ hơn.

Trên VPS CPU thì nhanh đến đâu?

Chậm, và chúng tôi nói thẳng: vài token mỗi giây cho mô hình 8B trên bốn nhân, ít hơn với mô hình lớn hơn. Điều đó ổn cho các tác vụ chạy không cần giám sát và cho một người trò chuyện, nhưng không ổn cho một sản phẩm có người dùng đang chờ. Thêm nhân giúp được một chút; băng thông bộ nhớ mới là giới hạn thật sự. Muốn tốc độ tương tác, bạn cần GPU, và đó là một trang khác.

Tôi có cần GPU không?

Không cần để chạy Ollama. Bạn cần GPU để chạy nhanh. Mọi thứ trên trang này là suy luận trên CPU; dòng GPU có card từ một L4 trở lên, và một mô hình 7B chạy ì ạch trên CPU sẽ trả lời tức thì ở đó. Hãy quyết định dựa trên việc ai đang chờ câu trả lời.

Preset khởi động làm gì?

Script chạy trình cài đặt chính thức của Ollama, tạo người dùng ollama và một dịch vụ systemd gắn với 127.0.0.1:11434, bật dịch vụ, và không mở gì trên tường lửa ngoài SSH. Script không tải mô hình nào (lựa chọn đó tùy vào máy bạn mua) và để lại /root/OLLAMA-NEXT-STEPS.txt chứa các lệnh pull theo từng hạng RAM, lệnh tạo tunnel và cảnh báo về việc mở API ra ngoài.

Máy khác có dùng được không?

Có, sau khi bạn đặt OLLAMA_HOST=0.0.0.0:11434 qua systemctl edit ollama.service và mở cổng. Đừng làm vậy nếu không có reverse proxy yêu cầu key hoặc mật khẩu: Ollama không có xác thực riêng, và một Ollama để mở là tài nguyên tính toán không GPU tặng không cho cả internet. Nếu dùng SSH tunnel hoặc VPN, không cần những điều này.

Mô hình được lưu ở đâu, và lớn đến mức nào?

Mặc định là /usr/share/ollama/.ollama/models, có thể đổi bằng OLLAMA_MODELS (người dùng ollama phải sở hữu thư mục đó). Một thư viện khiêm tốn (một mô hình 8B, một 14B và một 32B) chiếm khoảng 35 GB, đó là lý do mọi dòng trên trang này đều có từ 100 GB trở lên.

Đọc tiếp