Přeskočit na obsah

Řešení · Lokální modely

VPS pro Ollama

Ollama poskytuje otevřené modely přes lokální API a jediné pevné pravidlo je, že se model musí vejít do paměti: model s 8 miliardami parametrů má ke stažení 4,9 GB, model 70B 42,5 GB. Na CPU odpovídá rychlostí několika tokenů za sekundu, což stačí pro soukromého asistenta, dávkové úlohy a embeddingy, ale ne pro chatovací produkt. BD-8 za $12.90 spustí modely 8B; BD-64 za $84.90 spustí modely 70B.

Nasadit BD-8Nasadit C4-8-160 s nainstalovaným Ollama

Co potřebuje

Software podle dokumentace, velikosti s uvedeným zdrojem

Software a bezpečnostní nastavení vycházejí z vlastní dokumentace projektu. Kde projekt neuvádí žádné hardwarové údaje, velikosti uvádějí, odkud pocházejí.

Z docs.ollama.com a registru

  • Instalace: curl -fsSL https://ollama.com/install.sh | sh (vytvoří uživatele ollama a službu systemd).
  • Ve výchozím stavu naslouchá na 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 ji zpřístupní, a protože samotná Ollama nemá žádné ověřování, nejprve před ni dejte proxy s ověřováním.
  • Modely jsou uloženy v /usr/share/ollama/.ollama/models; velikosti z registru: llama3.1:8b 4,9 GB · qwen3:14b 9,3 GB · gemma3:27b 17,4 GB · qwen3:32b 20,2 GB · llama3.3:70b 42,5 GB.
  • GPU je volitelné: bez něj model běží na CPU a RAM, pomalu; s ním běží z VRAM, rychle.

Velikosti (naše: model se musí vejít do RAM s rezervou)

Dimenzování podle použití
ZátěžvCPURAM
Modely 4B–8B (gemma3:4b 3,3 GB, llama3.1:8b 4,9 GB)Asistenti, shrnutí, embeddingy. Na CPU několik tokenů za sekundu.48 GB
Modely 12B–14B (gemma3:12b 8,1 GB, qwen3:14b 9,3 GB)Znatelně lepší odpovědi, znatelně pomalejší.616 GB
Modely 27B–32B (gemma3:27b 17,4 GB, qwen3:32b 20,2 GB)Použitelné pro dávkovou práci, ne pro čekajícího uživatele.832 GB
Modely 70B (llama3.3:70b 42,5 GB)Vejde se. Pomalé. Pro interaktivní použití je upřímnou odpovědí server s GPU.1664 GB

Vhodné tarify

4 počítačů s aktuálními cenami

Seřazeno podle paměti, která rozhoduje o modelu. Ceny jsou aktuální, měsíční, převzaté z katalogu.

  • BD-8$12.90/měs.

    4 vCPU · 8 GB · 100 GB disk · 32 TB

    8 GB: modely 8B. 4 vCPU, 8 GB, 100 GB pro stažené soubory. Spustí llama3.1:8b, qwen3:8b, gemma3:4b. Jednořádkový instalátor vložíte sami.

    Nasadit
  • U6-16-120$47.90/měs.

    6 vCPU · 16 GB · 120 GB disk · Unmetered

    16 GB: modely 14B, neměřený přenos, Istanbul. 6 vCPU a 16 GB spustí qwen3:14b a gemma3:12b; neměřený přenos pro volné stahování modelů.

    Nasadit
  • BD-64$84.90/měs.

    16 vCPU · 64 GB · 500 GB disk · 32 TB

    64 GB: až 70B, 16 jader. Nejlevnější stroj na této stránce, do jehož paměti se vejde llama3.3:70b nebo qwen3:32b. U velkých modelů počítejte s pár tokeny za sekundu.

    Nasadit
  • C4-8-160$75.90/měs.

    4 vCPU · 8 GB · 160 GB disk · 3 TB

    8 GB, dorazí s nainstalovanou Ollamou. Předvolba nainstaluje službu u dodavatele, který spouští startovací skripty; 160 GB disku pro knihovnu modelů.

    Nasadit s instalací

„Nasadit s instalací“ otevře konfigurátor s naším startovacím skriptem pro Ollamu v poli pro startovací skript, celým, ještě před nákupem. Nainstaluje službu a nic nestahuje; model si vyberete sami. U ostatních řádků je instalace jeden vložený řádek.

Instalace

Čtyři kroky

Nainstalujte, stáhněte model, který se vejde, komunikujte s ním a udržte jej soukromý.

  1. Instalace. curl -fsSL https://ollama.com/install.sh | sh Služba se spustí na 127.0.0.1:11434 a přetrvá i restarty.
  2. Stáhněte model, který se na tento stroj vejde. ollama pull llama3.1:8b na 8 GB; qwen3:14b na 16 GB; gemma3:27b nebo qwen3:32b na 32 GB; llama3.3:70b na 64 GB.
  3. Používejte ji. ollama run llama3.1:8b, nebo přes API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Z notebooku: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Teprve pak ji zpřístupněte, za ověřením. systemctl edit ollama.service s Environment="OLLAMA_HOST=0.0.0.0:11434" ji zpřístupní; reverzní proxy s heslem nebo klíčem API před ní není volitelná, protože Ollama žádné ověřování nemá.

Upřímně

Co bychom skutečně koupili

Kupujte pro model, který skutečně budete provozovat, a předem vězte, jak se inference na CPU chová.

Pro modely 8B

BD-8 · $12.90/měs.

4 vCPU a 8 GB za $12.90 spustí llama3.1:8b nebo qwen3:8b s rezervou, rychlostí několika tokenů za sekundu: vhodné pro soukromého asistenta, se kterým mluvíte sami, noční shrnutí nebo embeddingy pro vyhledávací index. Pokud chcete odpovědi třídy 27B, BD-64 za $84.90 je zvládne, a pomalu i modely 70B. Pokud budou lidé na odpovědi čekat, přestaňte číst tuto stránku a podívejte se na řadu GPU.

Nasadit BD-8BD-64 pro velké modely

Otázky

Na co se lidé ptají před koupí.

Kolik RAM Ollama potřebuje?
Tolik, kolik má model, plus malou rezervu: soubor modelu se načítá do paměti. Registr Ollamy uvádí llama3.1:8b s 4,9 GB, qwen3:14b s 9,3 GB, gemma3:27b se 17,4 GB, qwen3:32b s 20,2 GB a llama3.3:70b se 42,5 GB, proto jsou úrovně 8, 16, 32 a 64 GB. Operační systém a samotná Ollama potřebují další gigabajt nebo dva. Model, který se nevejde, se buď nenačte, nebo swapuje, což je horší.
Jak rychlé je to na CPU VPS?
Pomalé, a to upřímně: několik tokenů za sekundu u modelu 8B na čtyřech jádrech, u větších méně. To stačí pro úlohy běžící bez dohledu a pro jednoho člověka, který chatuje, ale nestačí pro produkt s čekajícími uživateli. Více jader trochu pomůže; skutečným limitem je propustnost paměti. Pro interaktivní rychlost potřebujete GPU, a to je jiná stránka.
Potřebuji GPU?
Ke spuštění Ollamy ne. Potřebujete ho, aby běžela rychle. Vše na této stránce je inference na CPU; řada GPU nabízí karty od jedné L4 výše a model 7B, který se na CPU vleče, tam odpovídá okamžitě. Rozhodněte se podle toho, kdo na odpověď čeká.
Co dělá startovací preset?
Spustí oficiální instalátor Ollamy, který vytvoří uživatele ollama a službu systemd navázanou na 127.0.0.1:11434, povolí ji a ve firewallu neotevře nic kromě SSH. Nestahuje žádný model (ta volba závisí na stroji, který jste koupili) a zanechá soubor /root/OLLAMA-NEXT-STEPS.txt s příkazy pro stažení podle úrovně RAM, příkazem pro tunel a varováním o zpřístupnění API.
Mohou ji používat jiné stroje?
Ano, jakmile nastavíte OLLAMA_HOST=0.0.0.0:11434 přes systemctl edit ollama.service a otevřete port. Nedělejte to bez reverzní proxy, která vyžaduje klíč nebo heslo: Ollama nemá vlastní ověřování a otevřená Ollama je bezplatný dar výpočetního výkonu (bez GPU) internetu. Přes SSH tunely nebo VPN nic z toho není potřeba.
Kam se modely ukládají a jak velké bývají?
Ve výchozím stavu /usr/share/ollama/.ollama/models, lze změnit pomocí OLLAMA_MODELS (adresář musí vlastnit uživatel ollama). Skromná knihovna (model 8B, 14B a 32B) zabere asi 35 GB, a proto má každý řádek na této stránce 100 GB nebo více.

Čtěte dál

Související