跳至正文

解决方案 · 本地模型

适用于 Ollama 的 VPS

Ollama 通过本地 API 提供开放模型服务,唯一的硬性规则是模型必须放得进内存:80 亿参数的模型下载大小为 4.9 GB,70B 模型为 42.5 GB。在 CPU 上它每秒只能输出几个 token,足以用于私人助手、批处理任务和嵌入向量,但不足以支撑聊天产品。BD-8,$12.90,可运行 8B 模型;BD-64,$84.90,可运行 70B 模型。

运行要求

软件来自官方文档,规格注明来源

软件及安全配置均来自项目自己的文档。若项目未公布硬件要求,规格会注明出自谁的建议。

来自 docs.ollama.com 和模型库

  • 安装:curl -fsSL https://ollama.com/install.sh | sh,会创建 ollama 用户和一个 systemd 服务。
  • 默认监听 127.0.0.1:11434;OLLAMA_HOST=0.0.0.0 可将其对外开放,而 Ollama 自身没有认证,因此请先在前面放置带认证的代理。
  • 模型存放在 /usr/share/ollama/.ollama/models;模型库中的大小:llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB。
  • GPU 并非必需:没有 GPU 时模型在 CPU 和 RAM 上运行,速度较慢;有 GPU 时从 VRAM 运行,速度很快。

规格(由我们给出:模型必须能放入 RAM 并留有余量)

按应用场景选择规格
工作负载vCPURAM
4B–8B 模型(gemma3:4b 3.3 GB,llama3.1:8b 4.9 GB)助手、摘要、嵌入向量。在 CPU 上每秒几个 token。48 GB
12B–14B 模型(gemma3:12b 8.1 GB,qwen3:14b 9.3 GB)回答明显更好,速度也明显更慢。616 GB
27B–32B 模型(gemma3:27b 17.4 GB,qwen3:32b 20.2 GB)可用于批处理,不适合有用户在等待的场景。832 GB
70B 模型(llama3.3:70b 42.5 GB)放得下,但慢。交互式使用的话,老实说应选 GPU 服务器。1664 GB

合适的套餐

4 台机器,实时报价

按内存排序,因为内存决定能运行哪个模型。价格为今日价格,按月计,取自产品目录。

  • BD-8$12.90/月

    4 vCPU · 8 GB · 100 GB 磁盘 · 32 TB

    8 GB:8B 模型。4 vCPU、8 GB、100 GB 用于下载。可运行 llama3.1:8b、qwen3:8b、gemma3:4b。单行安装命令需您自行粘贴运行。

  • U6-16-120$47.90/月

    6 vCPU · 16 GB · 120 GB 磁盘 · 不计流量

    16 GB:14B 模型,不计流量,伊斯坦布尔。6 vCPU 和 16 GB 可运行 qwen3:14b 和 gemma3:12b;不计流量,拉取模型无需顾虑。

  • BD-64$84.90/月

    16 vCPU · 64 GB · 500 GB 磁盘 · 32 TB

    64 GB:最高 70B,16 核。本页中能将 llama3.3:70b 或 qwen3:32b 放入内存的最便宜机器。大模型预计每秒约两个 token。

  • C4-8-160$75.90/月

    4 vCPU · 8 GB · 160 GB 磁盘 · 3 TB

    8 GB,交付时已安装 Ollama。在支持启动脚本的供应商上,预设会安装该服务;160 GB 磁盘可存放一个模型库。

“部署并安装”会打开配置页面,并在启动脚本框中完整填入我们的 Ollama 启动脚本,供您在购买前查看。脚本只安装服务,不下载任何模型;模型由您选择。其他行的安装只需粘贴一行命令。

安装

四个步骤

安装,拉取合适的模型,与它对话,保持私有。

  1. 安装。curl -fsSL https://ollama.com/install.sh | sh 服务在 127.0.0.1:11434 上启动,重启后仍会运行。
  2. 拉取适合本机的模型。8 GB 用 ollama pull llama3.1:8b;16 GB 用 qwen3:14b;32 GB 用 gemma3:27b 或 qwen3:32b;64 GB 用 llama3.3:70b。
  3. 开始使用。ollama run llama3.1:8b,或调用 API:curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'。在您的笔记本上:ssh -N -L 11434:127.0.0.1:11434 root@your-server。
  4. 之后再对外开放,并加上认证。用 systemctl edit ollama.service 设置 Environment="OLLAMA_HOST=0.0.0.0:11434" 即可对外访问;前置一个带密码或 API 密钥的反向代理是必需的,因为 Ollama 自身没有认证。

说实话

我们实际会买哪台

按您实际要运行的模型购买,并在购买前了解 CPU 推理的实际体验。

适用于 8B 模型

BD-8 · $12.90/月

4 vCPU、8 GB 内存,$12.90,运行 llama3.1:8b 或 qwen3:8b 绰绰有余,速度为每秒几个 token:适合自己使用的私人助手、每晚生成摘要,或为搜索索引生成 embedding。如果您需要 27B 级别的回答,BD-64($84.90)可以运行这类模型,70B 模型也能运行,但速度较慢。如果会有人等着看回答,请不必再读本页,直接查看 GPU 产品线。

常见问题

购买前大家常问的问题。

Ollama 需要多少 RAM?
模型大小再加一点余量:模型文件会被加载到内存中。Ollama 模型库标注 llama3.1:8b 为 4.9 GB、qwen3:14b 为 9.3 GB、gemma3:27b 为 17.4 GB、qwen3:32b 为 20.2 GB、llama3.3:70b 为 42.5 GB,因此对应的档位是 8、16、32 和 64 GB。操作系统和 Ollama 本身还需要一到两 GB。放不下的模型要么无法加载,要么使用交换空间,后者更糟。
在 CPU VPS 上速度如何?
慢,这一点我们如实说明:8B 模型在四核上每秒几个 token,更大的模型更少。对于无人值守的任务和单人聊天来说没有问题,但对于有用户在等待的产品则不行。增加核心数略有帮助;真正的限制是内存带宽。若要交互级速度,您需要 GPU,那是另一个页面的内容。
我需要 GPU 吗?
运行 Ollama 不需要。想要运行得快才需要。本页所有内容都是 CPU 推理;GPU 产品线提供从单张 L4 起的显卡,在 CPU 上慢如蜗牛的 7B 模型在那里可即时响应。请根据谁在等待答案来决定。
启动预设会做什么?
它运行 Ollama 官方安装程序,创建 ollama 用户和一个绑定在 127.0.0.1:11434 的 systemd 服务并启用,防火墙上只开放 SSH。它不拉取任何模型(这取决于您购买的机器),并留下 /root/OLLAMA-NEXT-STEPS.txt,其中包含各 RAM 档位的拉取命令、隧道命令以及关于开放 API 的警告。
其他机器可以使用它吗?
可以,只要通过 systemctl edit ollama.service 设置 OLLAMA_HOST=0.0.0.0:11434 并开放端口。没有要求密钥或密码的反向代理时,请不要这样做:Ollama 自身没有认证,一个开放的 Ollama 就是把没有 GPU 的算力白白捐给整个互联网。通过 SSH 隧道或 VPN 访问,则无需以上任何操作。
模型存放在哪里,会有多大?
默认位于 /usr/share/ollama/.ollama/models,可通过 OLLAMA_MODELS 更改(该目录须归 ollama 用户所有)。一个适中的模型库(一个 8B、一个 14B 和一个 32B)约 35 GB,因此本页每一档都配 100 GB 或以上。