解决方案 · 本地模型
适用于 Ollama 的 VPS
Ollama 通过本地 API 提供开放模型服务,唯一的硬性规则是模型必须放得进内存:80 亿参数的模型下载大小为 4.9 GB,70B 模型为 42.5 GB。在 CPU 上它每秒只能输出几个 token,足以用于私人助手、批处理任务和嵌入向量,但不足以支撑聊天产品。BD-8,$12.90,可运行 8B 模型;BD-64,$84.90,可运行 70B 模型。
运行要求
软件来自官方文档,规格注明来源
软件及安全配置均来自项目自己的文档。若项目未公布硬件要求,规格会注明出自谁的建议。
来自 docs.ollama.com 和模型库
- 安装:
curl -fsSL https://ollama.com/install.sh | sh,会创建ollama用户和一个 systemd 服务。 - 默认监听
127.0.0.1:11434;OLLAMA_HOST=0.0.0.0可将其对外开放,而 Ollama 自身没有认证,因此请先在前面放置带认证的代理。 - 模型存放在
/usr/share/ollama/.ollama/models;模型库中的大小:llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB。 - GPU 并非必需:没有 GPU 时模型在 CPU 和 RAM 上运行,速度较慢;有 GPU 时从 VRAM 运行,速度很快。
规格(由我们给出:模型必须能放入 RAM 并留有余量)
| 工作负载 | vCPU | RAM |
|---|---|---|
| 4B–8B 模型(gemma3:4b 3.3 GB,llama3.1:8b 4.9 GB)助手、摘要、嵌入向量。在 CPU 上每秒几个 token。 | 4 | 8 GB |
| 12B–14B 模型(gemma3:12b 8.1 GB,qwen3:14b 9.3 GB)回答明显更好,速度也明显更慢。 | 6 | 16 GB |
| 27B–32B 模型(gemma3:27b 17.4 GB,qwen3:32b 20.2 GB)可用于批处理,不适合有用户在等待的场景。 | 8 | 32 GB |
| 70B 模型(llama3.3:70b 42.5 GB)放得下,但慢。交互式使用的话,老实说应选 GPU 服务器。 | 16 | 64 GB |
合适的套餐
4 台机器,实时报价
按内存排序,因为内存决定能运行哪个模型。价格为今日价格,按月计,取自产品目录。
- BD-8$12.90/月
4 vCPU · 8 GB · 100 GB 磁盘 · 32 TB
8 GB:8B 模型。4 vCPU、8 GB、100 GB 用于下载。可运行 llama3.1:8b、qwen3:8b、gemma3:4b。单行安装命令需您自行粘贴运行。
- U6-16-120$47.90/月
6 vCPU · 16 GB · 120 GB 磁盘 · 不计流量
16 GB:14B 模型,不计流量,伊斯坦布尔。6 vCPU 和 16 GB 可运行 qwen3:14b 和 gemma3:12b;不计流量,拉取模型无需顾虑。
- BD-64$84.90/月
16 vCPU · 64 GB · 500 GB 磁盘 · 32 TB
64 GB:最高 70B,16 核。本页中能将 llama3.3:70b 或 qwen3:32b 放入内存的最便宜机器。大模型预计每秒约两个 token。
- C4-8-160$75.90/月
4 vCPU · 8 GB · 160 GB 磁盘 · 3 TB
8 GB,交付时已安装 Ollama。在支持启动脚本的供应商上,预设会安装该服务;160 GB 磁盘可存放一个模型库。
“部署并安装”会打开配置页面,并在启动脚本框中完整填入我们的 Ollama 启动脚本,供您在购买前查看。脚本只安装服务,不下载任何模型;模型由您选择。其他行的安装只需粘贴一行命令。
安装
四个步骤
安装,拉取合适的模型,与它对话,保持私有。
- 安装。
curl -fsSL https://ollama.com/install.sh | sh服务在 127.0.0.1:11434 上启动,重启后仍会运行。 - 拉取适合本机的模型。8 GB 用
ollama pull llama3.1:8b;16 GB 用qwen3:14b;32 GB 用gemma3:27b或qwen3:32b;64 GB 用llama3.3:70b。 - 开始使用。
ollama run llama3.1:8b,或调用 API:curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'。在您的笔记本上:ssh -N -L 11434:127.0.0.1:11434 root@your-server。 - 之后再对外开放,并加上认证。用
systemctl edit ollama.service设置Environment="OLLAMA_HOST=0.0.0.0:11434"即可对外访问;前置一个带密码或 API 密钥的反向代理是必需的,因为 Ollama 自身没有认证。
说实话
我们实际会买哪台
按您实际要运行的模型购买,并在购买前了解 CPU 推理的实际体验。
适用于 8B 模型
BD-8 · $12.90/月
4 vCPU、8 GB 内存,$12.90,运行 llama3.1:8b 或 qwen3:8b 绰绰有余,速度为每秒几个 token:适合自己使用的私人助手、每晚生成摘要,或为搜索索引生成 embedding。如果您需要 27B 级别的回答,BD-64($84.90)可以运行这类模型,70B 模型也能运行,但速度较慢。如果会有人等着看回答,请不必再读本页,直接查看 GPU 产品线。
常见问题