Решения · Локальные модели
VPS для Ollama
Ollama предоставляет открытые модели через локальный API, и единственное жёсткое правило: модель должна помещаться в память. Модель на 8 миллиардов параметров весит 4.9 GB, модель 70B весит 42.5 GB. На ЦП она выдаёт несколько токенов в секунду: этого достаточно для личного ассистента, пакетных задач и эмбеддингов, но недостаточно для чат-продукта. BD-8 за $12.90 запускает модели 8B; BD-64 за $84.90 запускает модели 70B.
Что нужно
Программы по документации, размеры с указанием источника
Программы и настройки безопасности взяты из официальной документации проекта. Если проект не публикует требований к оборудованию, у размеров указано, чьи это рекомендации.
По данным docs.ollama.com и реестра
- Установка:
curl -fsSL https://ollama.com/install.sh | sh. Создаёт пользователяollamaи службу systemd. - По умолчанию служба слушает
127.0.0.1:11434;OLLAMA_HOST=0.0.0.0открывает её наружу, а у самой Ollama нет аутентификации, поэтому сначала поставьте перед ней прокси с аутентификацией. - Модели хранятся в
/usr/share/ollama/.ollama/models; размеры по данным реестра: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB. - GPU не обязателен: без него модель работает на ЦП и RAM, медленно; с ним работает из VRAM, быстро.
Размеры (наши: модель должна помещаться в RAM с запасом)
| Нагрузка | vCPU | RAM |
|---|---|---|
| Модели 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Ассистенты, резюме, эмбеддинги. Несколько токенов в секунду на ЦП. | 4 | 8 GB |
| Модели 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Заметно лучше ответы, заметно медленнее. | 6 | 16 GB |
| Модели 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Подходит для пакетной работы, но не для пользователя, который ждёт. | 8 | 32 GB |
| Модели 70B (llama3.3:70b 42.5 GB)Помещается. Медленно. Для интерактивной работы честный ответ это сервер с GPU. | 16 | 64 GB |
Подходящие тарифы
Машин: 4, цены актуальные
Упорядочено по объёму памяти: именно он определяет модель. Цены актуальные, за месяц, взяты из каталога.
- BD-8$12.90/мес.
4 vCPU · 8 GB · диск 100 GB · 32 TB
8 GB: модели 8B. 4 vCPU, 8 GB, 100 GB для загрузок. Запускает llama3.1:8b, qwen3:8b, gemma3:4b. Однострочный установщик вставляете сами.
- U6-16-120$47.90/мес.
6 vCPU · 16 GB · диск 120 GB · Unmetered
16 GB: модели 14B, Unmetered, Стамбул. 6 vCPU и 16 GB запускают qwen3:14b и gemma3:12b; трафик без учёта позволяет свободно загружать модели.
- BD-64$84.90/мес.
16 vCPU · 64 GB · диск 500 GB · 32 TB
64 GB: до 70B, 16 ядер. Самая дешёвая машина на этой странице, в память которой помещается llama3.3:70b или qwen3:32b. На больших моделях ожидайте пару токенов в секунду.
- C4-8-160$75.90/мес.
4 vCPU · 8 GB · диск 160 GB · 3 TB
8 GB, поставляется с установленным Ollama. Пресет устанавливает службу у поставщика, который выполняет скрипты запуска; 160 GB диска для библиотеки моделей.
«Развернуть с установкой» открывает конфигуратор с нашим скриптом запуска Ollama в поле скрипта, полностью, до покупки. Он устанавливает службу и ничего не загружает; модель выбираете вы. В остальных строках установка сводится к одной вставленной строке.
Установка
Четыре шага
Установите, загрузите подходящую модель, общайтесь с ней и не открывайте её в интернет.
- Установка.
curl -fsSL https://ollama.com/install.sh | shСлужба запускается на 127.0.0.1:11434 и сохраняется после перезагрузок. - Загрузите модель, подходящую этой машине.
ollama pull llama3.1:8bна 8 GB;qwen3:14bна 16 GB;gemma3:27bилиqwen3:32bна 32 GB;llama3.3:70bна 64 GB. - Пользуйтесь.
ollama run llama3.1:8bили API:curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. С ноутбука:ssh -N -L 11434:127.0.0.1:11434 root@your-server. - Только после этого открывайте доступ, с аутентификацией.
systemctl edit ollama.serviceсEnvironment="OLLAMA_HOST=0.0.0.0:11434"делает службу доступной извне; обратный прокси с паролем или ключом API перед ней обязателен, потому что у Ollama их нет.
Откровенно
Что купили бы мы сами
Выбирайте под модель, которую действительно будете запускать, и заранее узнайте, каков инференс на ЦП на практике.
Для моделей 8B
BD-8 · $12.90/мес.
4 vCPU и 8 GB за $12.90 запускают llama3.1:8b или qwen3:8b с запасом, со скоростью несколько токенов в секунду: подходит для личного ассистента, с которым общаетесь вы сами, ночных сводок или эмбеддингов для поискового индекса. Если нужны ответы уровня 27B, BD-64 за $84.90 вместит их, а также модели 70B, хоть и медленно. Если ответов будут ждать люди, дальше эту страницу не читайте и посмотрите линейку GPU.
Вопросы