Ugrás a tartalomra

Megoldások · Helyi modellek

VPS az Ollamához

Az Ollama nyílt modelleket szolgál ki egy helyi API-n keresztül, és az egyetlen kemény szabály, hogy a modellnek el kell férnie a memóriában: egy 8 milliárd paraméteres modell 4.9 GB-os letöltés, egy 70B-s 42.5 GB. CPU-n néhány tokent ad másodpercenként, ami elég egy privát asszisztenshez, kötegelt feladatokhoz és embeddingekhez, de nem elég egy chattermékhez. A(z) BD-8, $12.90 futtatja a 8B modelleket; a(z) BD-64, $84.90 a 70B-seket.

BD-8 üzembe helyezéseC4-8-160 üzembe helyezése telepített Ollama szoftverrel

Amire szüksége van

Szoftver a dokumentációból, a méreteknél feltüntetett forrással

A szoftver és a biztonsági beállítások a projekt saját dokumentációjából származnak. Ahol a projekt nem közöl hardverigényt, a méreteknél fel van tüntetve, kitől származnak.

A docs.ollama.com és a registry alapján

  • Telepítés: curl -fsSL https://ollama.com/install.sh | sh, létrehozza a(z) ollama felhasználót és egy systemd szolgáltatást.
  • Alapértelmezés szerint a(z) 127.0.0.1:11434 címen figyel; a(z) OLLAMA_HOST=0.0.0.0 elérhetővé teszi, és az Ollamának nincs saját hitelesítése, ezért előbb tegyen elé egy hitelesítést kérő proxyt.
  • A modellek helye: /usr/share/ollama/.ollama/models; méretek a registry alapján: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • A GPU opcionális: nélküle a modell CPU-n és RAM-ban fut, lassan; vele VRAM-ból, gyorsan.

Méretek (a mieink: a modellnek tartalékkal el kell férnie a RAM-ban)

Méretezés felhasználás szerint
MunkaterhelésvCPURAM
4B–8B modellek (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Asszisztensek, összefoglalók, embeddingek. Néhány token másodpercenként CPU-n.48 GB
12B–14B modellek (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Észrevehetően jobb válaszok, észrevehetően lassabban.616 GB
27B–32B modellek (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Kötegelt munkára használható, várakozó felhasználónak nem.832 GB
70B modellek (llama3.3:70b 42.5 GB)Elfér. Lassú. Interaktív használatra őszintén egy GPU-szerver a válasz.1664 GB

A megfelelő csomagok

4 gép, aktuális árakon

Memória szerint rendezve, mert az dönti el a modellt. Az árak a mai, havi árak, a katalógusból.

  • BD-8$12.90/hó

    4 vCPU · 8 GB · 100 GB lemez · 32 TB

    8 GB: a 8B modellek. 4 vCPU, 8 GB, 100 GB a letöltéseknek. Futtatja a llama3.1:8b, qwen3:8b, gemma3:4b modelleket. Az egysoros telepítőt Ön illeszti be.

    Üzembe helyezés
  • U6-16-120$47.90/hó

    6 vCPU · 16 GB · 120 GB lemez · Unmetered

    16 GB: a 14B modellek, unmetered, Isztambul. 6 vCPU és 16 GB futtatja a qwen3:14b és gemma3:12b modelleket; unmetered forgalom, így a modellek letöltését nem mérjük.

    Üzembe helyezés
  • BD-64$84.90/hó

    16 vCPU · 64 GB · 500 GB lemez · 32 TB

    64 GB: 70B-ig, 16 mag. Az oldal legolcsóbb gépe, amelynek memóriájában elfér a llama3.3:70b vagy a qwen3:32b. A nagyoknál pár token másodpercenkénti sebességre számítson.

    Üzembe helyezés
  • C4-8-160$75.90/hó

    4 vCPU · 8 GB · 160 GB lemez · 3 TB

    8 GB, telepített Ollamával érkezik. Az előbeállítás a szolgáltatást egy olyan szolgáltatónál telepíti, amely futtat indítási szkripteket; 160 GB lemez egy modellkönyvtárnak.

    Telepítve üzembe helyezés

Az „Üzembe helyezés telepítve” a konfigurátort nyitja meg az Ollama indítási szkriptünkkel az indítási mezőben, teljes terjedelmében, vásárlás előtt. Telepíti a szolgáltatást, és semmit sem tölt le; a modellt Ön választja. A többi sornál a telepítés egyetlen beillesztett sor.

A telepítés

Négy lépés

Telepítés, egy illő modell letöltése, használat, privát hozzáférés.

  1. Telepítés. curl -fsSL https://ollama.com/install.sh | sh A szolgáltatás a 127.0.0.1:11434 címen indul, és újraindítás után is fut.
  2. Töltsön le egy, a gépre illő modellt. 8 GB-on ollama pull llama3.1:8b; 16 GB-on qwen3:14b; 32 GB-on gemma3:27b vagy qwen3:32b; 64 GB-on llama3.3:70b.
  3. Használja. ollama run llama3.1:8b, vagy az API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. A laptopjáról: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Csak ezután tegye elérhetővé, hitelesítés mögött. A(z) systemctl edit ollama.service a(z) Environment="OLLAMA_HOST=0.0.0.0:11434" beállítással elérhetővé teszi; egy elé helyezett, jelszót vagy API-kulcsot kérő reverse proxy nem opcionális, mert az Ollamának nincs ilyen.

Őszintén

Amit mi ténylegesen vennénk

Arra a modellre méretezzen, amelyet ténylegesen futtatni fog, és vásárlás előtt tudja, milyen a CPU-s inferencia.

A 8B modellekhez

BD-8 · $12.90/hó

4 vCPU és 8 GB, $12.90: bőven futtatja a llama3.1:8b vagy a qwen3:8b modellt, néhány token másodpercenkénti sebességgel: megfelelő egy saját használatú privát asszisztenshez, éjszakai összefoglalókhoz vagy egy keresési index embeddingjeihez. Ha 27B-s szintű válaszokat szeretne, a(z) BD-64, $84.90 elbírja ezeket és a 70B modelleket is, lassan. Ha emberek várnak a válaszokra, hagyja abba ennek az oldalnak az olvasását, és nézze meg a GPU termékvonalat.

BD-8 üzembe helyezéseBD-64 a nagy modellekhez

Kérdések

Amit vásárlás előtt kérdezni szoktak.

Mennyi RAM kell az Ollamához?
Annyi, mint a modell plusz egy kis tartalék: a modellfájl a memóriába töltődik. Az Ollama registry szerint a llama3.1:8b 4.9 GB, a qwen3:14b 9.3 GB, a gemma3:27b 17.4 GB, a qwen3:32b 20.2 GB, a llama3.3:70b 42.5 GB, így a szintek 8, 16, 32 és 64 GB. Az operációs rendszer és maga az Ollama további egy-két gigabájtot igényel. Az a modell, amely nem fér el, vagy nem töltődik be, vagy swappel, ami még rosszabb.
Milyen gyors egy CPU-s VPS-en?
Lassú, és ezt őszintén mondjuk: néhány token másodpercenként egy 8B modellnél négy magon, nagyobbaknál kevesebb. Ez rendben van felügyelet nélkül futó feladatokhoz és egyetlen beszélgető személyhez, de nincs rendben egy olyan terméknél, ahol felhasználók várnak. Több mag kicsit segít; a valódi korlát a memória-sávszélesség. Interaktív sebességhez GPU kell, az egy másik oldal.
Szükségem van GPU-ra?
Az Ollama futtatásához nem. A gyors futtatáshoz igen. Ezen az oldalon minden CPU-s inferencia; a GPU termékvonalon egyetlen L4-től felfelé vannak kártyák, és egy 7B modell, amely CPU-n vánszorog, ott azonnal válaszol. Döntsön az alapján, ki vár a válaszra.
Mit csinál az indítási előbeállítás?
Az Ollama hivatalos telepítőjét futtatja, amely létrehozza az ollama felhasználót és egy 127.0.0.1:11434 címhez kötött systemd szolgáltatást, engedélyezi azt, és a tűzfalon az SSH-n kívül semmit sem nyit meg. Modellt nem tölt le (ez a választás a megvásárolt géptől függ), és létrehozza a /root/OLLAMA-NEXT-STEPS.txt fájlt a RAM-szintenkénti letöltési parancsokkal, a tunnel paranccsal és az API elérhetővé tételére vonatkozó figyelmeztetéssel.
Használhatják más gépek is?
Igen, ha a systemctl edit ollama.service paranccsal beállítja az OLLAMA_HOST=0.0.0.0:11434 értéket, és megnyitja a portot. Ne tegye ezt kulcsot vagy jelszót kérő reverse proxy nélkül: az Ollamának nincs saját hitelesítése, és egy nyitott Ollama ingyenes, GPU nélküli számítási kapacitás-adomány az internetnek. SSH-tunnelen vagy VPN-en keresztül ezek egyike sem szükséges.
Hová kerülnek a modellek, és mekkorák lehetnek?
Alapértelmezés szerint /usr/share/ollama/.ollama/models, az OLLAMA_MODELS változóval módosítható (a könyvtár tulajdonosa az ollama felhasználó kell legyen). Egy szerény könyvtár (egy 8B, egy 14B és egy 32B modell) körülbelül 35 GB, ezért van ezen az oldalon minden sorban legalább 100 GB.

Olvasson tovább

Kapcsolódó