Перейти к содержимому

Решения · Локальные модели

VPS для Ollama

Ollama предоставляет открытые модели через локальный API, и единственное жёсткое правило: модель должна помещаться в память. Модель на 8 миллиардов параметров весит 4.9 GB, модель 70B весит 42.5 GB. На ЦП она выдаёт несколько токенов в секунду: этого достаточно для личного ассистента, пакетных задач и эмбеддингов, но недостаточно для чат-продукта. BD-8 за $12.90 запускает модели 8B; BD-64 за $84.90 запускает модели 70B.

Что нужно

Программы по документации, размеры с указанием источника

Программы и настройки безопасности взяты из официальной документации проекта. Если проект не публикует требований к оборудованию, у размеров указано, чьи это рекомендации.

По данным docs.ollama.com и реестра

  • Установка: curl -fsSL https://ollama.com/install.sh | sh. Создаёт пользователя ollama и службу systemd.
  • По умолчанию служба слушает 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 открывает её наружу, а у самой Ollama нет аутентификации, поэтому сначала поставьте перед ней прокси с аутентификацией.
  • Модели хранятся в /usr/share/ollama/.ollama/models; размеры по данным реестра: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • GPU не обязателен: без него модель работает на ЦП и RAM, медленно; с ним работает из VRAM, быстро.

Размеры (наши: модель должна помещаться в RAM с запасом)

Подбор размера по задаче
НагрузкаvCPURAM
Модели 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Ассистенты, резюме, эмбеддинги. Несколько токенов в секунду на ЦП.48 GB
Модели 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Заметно лучше ответы, заметно медленнее.616 GB
Модели 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Подходит для пакетной работы, но не для пользователя, который ждёт.832 GB
Модели 70B (llama3.3:70b 42.5 GB)Помещается. Медленно. Для интерактивной работы честный ответ это сервер с GPU.1664 GB

Подходящие тарифы

Машин: 4, цены актуальные

Упорядочено по объёму памяти: именно он определяет модель. Цены актуальные, за месяц, взяты из каталога.

  • BD-8$12.90/мес.

    4 vCPU · 8 GB · диск 100 GB · 32 TB

    8 GB: модели 8B. 4 vCPU, 8 GB, 100 GB для загрузок. Запускает llama3.1:8b, qwen3:8b, gemma3:4b. Однострочный установщик вставляете сами.

  • U6-16-120$47.90/мес.

    6 vCPU · 16 GB · диск 120 GB · Unmetered

    16 GB: модели 14B, Unmetered, Стамбул. 6 vCPU и 16 GB запускают qwen3:14b и gemma3:12b; трафик без учёта позволяет свободно загружать модели.

  • BD-64$84.90/мес.

    16 vCPU · 64 GB · диск 500 GB · 32 TB

    64 GB: до 70B, 16 ядер. Самая дешёвая машина на этой странице, в память которой помещается llama3.3:70b или qwen3:32b. На больших моделях ожидайте пару токенов в секунду.

  • C4-8-160$75.90/мес.

    4 vCPU · 8 GB · диск 160 GB · 3 TB

    8 GB, поставляется с установленным Ollama. Пресет устанавливает службу у поставщика, который выполняет скрипты запуска; 160 GB диска для библиотеки моделей.

«Развернуть с установкой» открывает конфигуратор с нашим скриптом запуска Ollama в поле скрипта, полностью, до покупки. Он устанавливает службу и ничего не загружает; модель выбираете вы. В остальных строках установка сводится к одной вставленной строке.

Установка

Четыре шага

Установите, загрузите подходящую модель, общайтесь с ней и не открывайте её в интернет.

  1. Установка. curl -fsSL https://ollama.com/install.sh | sh Служба запускается на 127.0.0.1:11434 и сохраняется после перезагрузок.
  2. Загрузите модель, подходящую этой машине. ollama pull llama3.1:8b на 8 GB; qwen3:14b на 16 GB; gemma3:27b или qwen3:32b на 32 GB; llama3.3:70b на 64 GB.
  3. Пользуйтесь. ollama run llama3.1:8b или API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. С ноутбука: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Только после этого открывайте доступ, с аутентификацией. systemctl edit ollama.service с Environment="OLLAMA_HOST=0.0.0.0:11434" делает службу доступной извне; обратный прокси с паролем или ключом API перед ней обязателен, потому что у Ollama их нет.

Откровенно

Что купили бы мы сами

Выбирайте под модель, которую действительно будете запускать, и заранее узнайте, каков инференс на ЦП на практике.

Для моделей 8B

BD-8 · $12.90/мес.

4 vCPU и 8 GB за $12.90 запускают llama3.1:8b или qwen3:8b с запасом, со скоростью несколько токенов в секунду: подходит для личного ассистента, с которым общаетесь вы сами, ночных сводок или эмбеддингов для поискового индекса. Если нужны ответы уровня 27B, BD-64 за $84.90 вместит их, а также модели 70B, хоть и медленно. Если ответов будут ждать люди, дальше эту страницу не читайте и посмотрите линейку GPU.

Вопросы

Что спрашивают перед покупкой.

Сколько RAM нужно Ollama?
Столько, сколько занимает модель, плюс небольшой запас: файл модели загружается в память. В реестре Ollama llama3.1:8b занимает 4.9 GB, qwen3:14b 9.3 GB, gemma3:27b 17.4 GB, qwen3:32b 20.2 GB и llama3.3:70b 42.5 GB, поэтому уровни 8, 16, 32 и 64 GB. Операционной системе и самому Ollama нужно ещё гигабайт-два. Модель, которая не помещается, либо не загружается, либо уходит в своп, что хуже.
Насколько быстро это работает на VPS без GPU?
Медленно, и мы говорим об этом прямо: несколько токенов в секунду для модели 8B на четырёх ядрах, для более крупных меньше. Это нормально для задач, которые выполняются без присмотра, и для одного человека в чате, но не годится для продукта, где ждут пользователи. Больше ядер помогает немного; реальное ограничение: пропускная способность памяти. Для интерактивной скорости нужен GPU, а это другая страница.
Нужен ли GPU?
Для запуска Ollama не нужен. Он нужен, чтобы она работала быстро. Всё на этой странице относится к инференсу на ЦП; в линейке GPU есть карты начиная с одной L4, и модель 7B, которая на ЦП еле ползёт, там отвечает мгновенно. Решайте исходя из того, кто ждёт ответа.
Что делает пресет запуска?
Скрипт запускает официальный установщик Ollama, который создаёт пользователя ollama и службу systemd, привязанную к 127.0.0.1:11434, включает её и не открывает в межсетевом экране ничего, кроме SSH. Модель он не загружает (выбор зависит от купленной машины) и оставляет файл /root/OLLAMA-NEXT-STEPS.txt с командами загрузки для каждого уровня RAM, командой туннеля и предупреждением об открытии API.
Могут ли им пользоваться другие машины?
Да, если задать OLLAMA_HOST=0.0.0.0:11434 через systemctl edit ollama.service и открыть порт. Не делайте этого без обратного прокси, требующего ключ или пароль: у Ollama нет собственной аутентификации, и открытая Ollama становится бесплатным пожертвованием вычислительных ресурсов (пусть и без GPU) всему интернету. При работе через SSH-туннели или VPN ничего этого не нужно.
Где хранятся модели и насколько они большие?
По умолчанию /usr/share/ollama/.ollama/models, можно изменить через OLLAMA_MODELS (каталог должен принадлежать пользователю ollama). Скромная библиотека из моделей 8B, 14B и 32B занимает около 35 GB, поэтому у каждой строки на этой странице 100 GB или больше.