Рішення · Локальні моделі
VPS для Ollama
Ollama надає відкриті моделі через локальний API, і єдине жорстке правило: модель має вміщуватися в пам’ять. Модель на 8 мільярдів параметрів це завантаження 4.9 GB, модель 70B займає 42.5 GB. На CPU вона відповідає зі швидкістю кілька токенів на секунду, чого достатньо для приватного асистента, пакетних завдань і ембедінгів, але недостатньо для чат-продукту. BD-8 за $12.90 запускає моделі 8B; BD-64 за $84.90 запускає моделі 70B.
Що потрібно
Програмне забезпечення з документації, розміри з позначенням джерела
Програмне забезпечення та налаштування безпеки взято з власної документації проєкту. Якщо проєкт не публікує вимог до обладнання, біля розмірів зазначено, чиї вони.
З docs.ollama.com і реєстру
- Встановлення:
curl -fsSL https://ollama.com/install.sh | sh, створює користувачаollamaі сервіс systemd. - За замовчуванням слухає на
127.0.0.1:11434;OLLAMA_HOST=0.0.0.0відкриває доступ, а в самої Ollama немає автентифікації, тож спершу поставте перед нею проксі з автентифікацією. - Моделі зберігаються в
/usr/share/ollama/.ollama/models; розміри з реєстру: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB. - GPU необов’язковий: без нього модель працює на CPU і RAM, повільно; з ним вона працює з VRAM, швидко.
Розміри (наші: модель має вміщуватися в RAM із запасом)
| Навантаження | vCPU | RAM |
|---|---|---|
| Моделі 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Асистенти, підсумки, ембедінги. Кілька токенів на секунду на CPU. | 4 | 8 GB |
| Моделі 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Помітно кращі відповіді, помітно повільніше. | 6 | 16 GB |
| Моделі 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Придатно для пакетної роботи, а не для користувача, що чекає. | 8 | 32 GB |
| Моделі 70B (llama3.3:70b 42.5 GB)Вміщується. Повільно. Для інтерактивної роботи чесна відповідь це сервер із GPU. | 16 | 64 GB |
Тарифи, що підходять
Машин: 4, ціни актуальні
Упорядковано за пам’яттю, бо саме вона визначає модель. Ціни актуальні на сьогодні, за місяць, з каталогу.
- BD-8$12.90/міс
4 vCPU · 8 GB · диск 100 GB · 32 TB
8 GB: моделі 8B. 4 vCPU, 8 GB, 100 GB для завантажень. Запускає llama3.1:8b, qwen3:8b, gemma3:4b. Однорядковий інсталятор вставляєте самі.
- U6-16-120$47.90/міс
6 vCPU · 16 GB · диск 120 GB · Unmetered
16 GB: моделі 14B, трафік без обліку, Стамбул. 6 vCPU і 16 GB запускають qwen3:14b і gemma3:12b; трафік без обліку, щоб вільно завантажувати моделі.
- BD-64$84.90/міс
16 vCPU · 64 GB · диск 500 GB · 32 TB
64 GB: до 70B, 16 ядер. Найдешевша машина на цій сторінці, у пам’ять якої вміщуються llama3.3:70b або qwen3:32b. На великих моделях очікуйте пару токенів на секунду.
- C4-8-160$75.90/міс
4 vCPU · 8 GB · диск 160 GB · 3 TB
8 GB, постачається з встановленою Ollama. Пресет встановлює сервіс у постачальника, який виконує скрипти запуску; 160 GB диска для бібліотеки моделей.
Кнопка «Розгорнути зі встановленням» відкриває конфігуратор, де в полі запуску вже є наш скрипт запуску Ollama, повністю, ще до покупки. Він встановлює сервіс і нічого не завантажує; модель обираєте ви. В інших рядках встановлення зводиться до одного вставленого рядка.
Встановлення
Чотири кроки
Встановіть, завантажте модель, що вміщується, спілкуйтеся з нею, тримайте її приватною.
- Встановіть.
curl -fsSL https://ollama.com/install.sh | shСервіс запускається на 127.0.0.1:11434 і переживає перезавантаження. - Завантажте модель, що вміщується на цій машині.
ollama pull llama3.1:8bна 8 GB;qwen3:14bна 16 GB;gemma3:27bабоqwen3:32bна 32 GB;llama3.3:70bна 64 GB. - Користуйтеся.
ollama run llama3.1:8bабо API:curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Зі свого ноутбука:ssh -N -L 11434:127.0.0.1:11434 root@your-server. - Лише потім відкривайте доступ, за автентифікацією.
systemctl edit ollama.serviceзEnvironment="OLLAMA_HOST=0.0.0.0:11434"робить його доступним; зворотний проксі з паролем або API-ключем перед ним обов’язковий, бо в Ollama автентифікації немає.
Чесно кажучи
Що ми купили б насправді
Купуйте під модель, яку справді запускатимете, і спершу дізнайтеся, як відчувається інференс на CPU.
Для моделей 8B
BD-8 · $12.90/міс
4 vCPU і 8 GB за $12.90 запускають llama3.1:8b або qwen3:8b із запасом, зі швидкістю кілька токенів на секунду: це підходить для приватного асистента, з яким ви спілкуєтеся самі, нічних підсумків або ембедингів для пошукового індексу. Якщо вам потрібні відповіді рівня 27B, BD-64 за $84.90 вміщує такі моделі, а також моделі 70B, хоча й повільно. Якщо на відповіді чекатимуть люди, далі цю сторінку не читайте, а перегляньте лінійку GPU.
Запитання