Spring til indhold

Løsninger · Lokale modeller

En VPS til Ollama

Ollama leverer åbne modeller via et lokalt API, og den eneste faste regel er, at modellen skal kunne være i hukommelsen: en model med 8 milliarder parametre er en download på 4,9 GB, en 70B er 42,5 GB. På en CPU svarer den med nogle få tokens i sekundet, hvilket er nok til en privat assistent, batchjobs og embeddings, men ikke nok til et chatprodukt. BD-8 til $12.90 kører 8B-modellerne; BD-64 til $84.90 kører 70B-modellerne.

Udrul BD-8Udrul C4-8-160 med Ollama installeret

Hvad den kræver

Software fra dokumentationen, størrelser mærket efter kilde

Softwaren og sikkerhedsopsætningen kommer fra projektets egen dokumentation. Hvor projektet ikke oplyser hardwarekrav, står det ved størrelserne, hvis tal de er.

Fra docs.ollama.com og registret

  • Installer: curl -fsSL https://ollama.com/install.sh | sh (opretter brugeren ollama og en systemd-tjeneste).
  • Den lytter som standard på 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 eksponerer den, og Ollama har ingen godkendelse selv, så sæt først en proxy med godkendelse foran.
  • Modeller ligger i /usr/share/ollama/.ollama/models; størrelser fra registret: llama3.1:8b 4,9 GB · qwen3:14b 9,3 GB · gemma3:27b 17,4 GB · qwen3:32b 20,2 GB · llama3.3:70b 42,5 GB.
  • En GPU er valgfri: uden en kører modellen på CPU og RAM, langsomt; med en kører den fra VRAM, hurtigt.

Størrelser (vores: modellen skal kunne være i RAM med luft)

Dimensionering efter anvendelse
ArbejdsbyrdevCPURAM
4B–8B-modeller (gemma3:4b 3,3 GB, llama3.1:8b 4,9 GB)Assistenter, resuméer, embeddings. Nogle få tokens i sekundet på CPU.48 GB
12B–14B-modeller (gemma3:12b 8,1 GB, qwen3:14b 9,3 GB)Mærkbart bedre svar, mærkbart langsommere.616 GB
27B–32B-modeller (gemma3:27b 17,4 GB, qwen3:32b 20,2 GB)Brugbar til batcharbejde, ikke til en ventende bruger.832 GB
70B-modeller (llama3.3:70b 42,5 GB)Passer. Langsom. En GPU-server er det ærlige svar til interaktiv brug.1664 GB

De planer, der passer

4 maskiner, aktuelt prissat

Sorteret efter hukommelse, som er det, der afgør modellen. Priserne er dagens, pr. måned, hentet fra kataloget.

  • BD-8$12.90/md.

    4 vCPU · 8 GB · 100 GB disk · 32 TB

    8 GB: 8B-modellerne. 4 vCPU, 8 GB, 100 GB til downloads. Kører llama3.1:8b, qwen3:8b, gemma3:4b. Indsæt selv installationslinjen.

    Udrul
  • U6-16-120$47.90/md.

    6 vCPU · 16 GB · 120 GB disk · Unmetered

    16 GB: 14B-modellerne, unmetered, Istanbul. 6 vCPU og 16 GB kører qwen3:14b og gemma3:12b; trafik uden måling, så du frit kan hente modeller.

    Udrul
  • BD-64$84.90/md.

    16 vCPU · 64 GB · 500 GB disk · 32 TB

    64 GB: op til 70B, 16 kerner. Den billigste maskine på denne side, der kan have llama3.3:70b eller qwen3:32b i hukommelsen. Forvent et par tokens i sekundet på de store.

    Udrul
  • C4-8-160$75.90/md.

    4 vCPU · 8 GB · 160 GB disk · 3 TB

    8 GB, leveres med Ollama installeret. Skabelonen installerer tjenesten hos en leverandør, der kører opstartsscripts; 160 GB disk til et bibliotek af modeller.

    Udrul installeret

“Udrul installeret” åbner konfiguratoren med vores Ollama-opstartsscript i opstartsfeltet, i fuld længde, før du køber. Det installerer tjenesten og henter intet; du vælger modellen. På de andre rækker er installationen én indsat linje.

Installationen

Fire trin

Installer, hent en model, der passer, tal med den, hold den privat.

  1. Installer. curl -fsSL https://ollama.com/install.sh | sh Tjenesten starter på 127.0.0.1:11434 og overlever genstarter.
  2. Hent en model, der passer til maskinen. ollama pull llama3.1:8b på 8 GB; qwen3:14b på 16 GB; gemma3:27b eller qwen3:32b på 32 GB; llama3.3:70b på 64 GB.
  3. Brug den. ollama run llama3.1:8b eller API'et: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Fra din bærbare: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Eksponer den først derefter, bag godkendelse. systemctl edit ollama.service med Environment="OLLAMA_HOST=0.0.0.0:11434" gør den tilgængelig; en reverse proxy med adgangskode eller API-nøgle foran er ikke valgfri, for Ollama har ingen.

Helt ærligt

Det, vi selv ville købe

Køb til den model, du faktisk vil køre, og vid, hvordan CPU-inferens føles, før du gør det.

Til 8B-modellerne

BD-8 · $12.90/md.

4 vCPU og 8 GB til $12.90 kører llama3.1:8b eller qwen3:8b med plads til overs, med nogle få tokens i sekundet: rigtigt til en privat assistent, du selv taler med, natlige resuméer eller embeddings til et søgeindeks. Vil du have svar i 27B-klassen, kan BD-64 til $84.90 rumme dem og også 70B-modellerne, langsomt. Hvis folk skal vente på svarene, så stop med at læse denne side og se på GPU-linjen.

Udrul BD-8BD-64 til de store modeller

Spørgsmål

Hvad folk spørger om, før de køber.

Hvor meget RAM kræver Ollama?
Lige så meget som modellen plus lidt luft: modelfilen indlæses i hukommelsen. Ollamas register angiver llama3.1:8b til 4,9 GB, qwen3:14b til 9,3 GB, gemma3:27b til 17,4 GB, qwen3:32b til 20,2 GB og llama3.3:70b til 42,5 GB, så niveauerne er 8, 16, 32 og 64 GB. Operativsystemet og Ollama selv kræver yderligere en gigabyte eller to. En model, der ikke passer, kan enten ikke indlæses eller swapper, hvilket er værre.
Hvor hurtig er den på en CPU-VPS?
Langsom, og det siger vi ærligt: nogle få tokens i sekundet for en 8B-model på fire kerner, færre for større. Det er fint til job, der kører uden opsyn, og til én person, der chatter, men ikke til et produkt med ventende brugere. Flere kerner hjælper lidt; hukommelsesbåndbredden er den reelle grænse. Til interaktiv hastighed skal du have en GPU, og det er en anden side.
Har jeg brug for en GPU?
Ikke for at køre Ollama. Du skal bruge en for at køre det hurtigt. Alt på denne side er CPU-inferens; GPU-linjen har kort fra et enkelt L4 og opefter, og en 7B-model, der kravler på CPU, svarer øjeblikkeligt der. Afgør det ud fra, hvem der venter på svaret.
Hvad gør opstartsforudindstillingen?
Det kører Ollamas officielle installationsprogram, som opretter ollama-brugeren og en systemd-tjeneste bundet til 127.0.0.1:11434, aktiverer den og åbner kun SSH i firewallen. Det henter ingen model (det valg afhænger af den maskine, du har købt) og efterlader /root/OLLAMA-NEXT-STEPS.txt med pull-kommandoerne pr. RAM-niveau, tunnelkommandoen og advarslen om at eksponere API'et.
Kan andre maskiner bruge den?
Ja, når du sætter OLLAMA_HOST=0.0.0.0:11434 via systemctl edit ollama.service og åbner porten. Gør det ikke uden en reverse proxy, der kræver en nøgle eller en adgangskode: Ollama har ingen egen godkendelse, og en åben Ollama er en gratis GPU-løs computedonation til internettet. Via SSH-tunneler eller en VPN er intet af dette nødvendigt.
Hvor ligger modellerne, og hvor store bliver de?
/usr/share/ollama/.ollama/models som standard, kan ændres med OLLAMA_MODELS (ollama-brugeren skal eje mappen). Et beskedent bibliotek (en 8B, en 14B og en 32B) fylder omkring 35 GB, og derfor har alle rækker på denne side 100 GB eller mere.

Læs videre

Relateret