Naar de inhoud

Oplossingen · Lokale modellen

Een VPS voor Ollama

Ollama serveert open modellen via een lokale API, en de enige harde regel is dat het model in het geheugen moet passen: een model met 8 miljard parameters is een download van 4.9 GB, een 70B-model 42.5 GB. Op een CPU antwoordt het met een paar tokens per seconde, genoeg voor een privé-assistent, batchtaken en embeddings, en niet genoeg voor een chatproduct. BD-8 voor $12.90 draait de 8B-modellen; BD-64 voor $84.90 draait de 70B-modellen.

BD-8 implementerenC4-8-160 implementeren met Ollama geïnstalleerd

Wat het nodig heeft

Software uit de documentatie, groottes met vermelding van de bron

De software en de beveiligingsaanpak komen uit de eigen documentatie van het project. Waar het project geen hardwarecijfers publiceert, staat bij de groottes van wie ze afkomstig zijn.

Van docs.ollama.com en het register

  • Installeren: curl -fsSL https://ollama.com/install.sh | sh maakt de gebruiker ollama en een systemd-dienst aan.
  • Het luistert standaard op 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 stelt het open, en Ollama heeft zelf geen authenticatie, dus zet er eerst een proxy met authenticatie voor.
  • Modellen staan in /usr/share/ollama/.ollama/models; groottes uit het register: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • Een GPU is optioneel: zonder draait het model op CPU en RAM, langzaam; met een GPU draait het vanuit VRAM, snel.

Groottes (van ons: het model moet met marge in het RAM passen)

Groottes per toepassing
WorkloadvCPURAM
4B–8B-modellen (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Assistenten, samenvattingen, embeddings. Een paar tokens per seconde op CPU.48 GB
12B–14B-modellen (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Merkbaar betere antwoorden, merkbaar langzamer.616 GB
27B–32B-modellen (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Bruikbaar voor batchwerk, niet voor een wachtende gebruiker.832 GB
70B-modellen (llama3.3:70b 42.5 GB)Past. Langzaam. Een GPU-server is het eerlijke antwoord voor interactief gebruik.1664 GB

De passende pakketten

4 machines, actueel geprijsd

Gesorteerd op geheugen, want dat bepaalt het model. Prijzen zijn van vandaag, per maand, uit de catalogus.

  • BD-8$12.90/mnd

    4 vCPU · 8 GB · 100 GB schijf · 32 TB

    8 GB: de 8B-modellen. 4 vCPU, 8 GB, 100 GB voor downloads. Draait llama3.1:8b, qwen3:8b, gemma3:4b. Plak het installatiecommando van één regel zelf.

    Implementeren
  • U6-16-120$47.90/mnd

    6 vCPU · 16 GB · 120 GB schijf · Unmetered

    16 GB: de 14B-modellen, unmetered, Istanbul. 6 vCPU en 16 GB draaien qwen3:14b en gemma3:12b; unmetered dataverkeer om vrij modellen binnen te halen.

    Implementeren
  • BD-64$84.90/mnd

    16 vCPU · 64 GB · 500 GB schijf · 32 TB

    64 GB: tot 70B, 16 cores. De goedkoopste machine op deze pagina waarop llama3.3:70b of qwen3:32b in het geheugen past. Reken op een paar tokens per seconde bij de grote modellen.

    Implementeren
  • C4-8-160$75.90/mnd

    4 vCPU · 8 GB · 160 GB schijf · 3 TB

    8 GB, geleverd met Ollama geïnstalleerd. De preset installeert de dienst bij een leverancier die opstartscripts uitvoert; 160 GB schijfruimte voor een bibliotheek aan modellen.

    Geïnstalleerd implementeren

“Geïnstalleerd implementeren” opent de configurator met ons Ollama-opstartscript volledig in het opstartveld, voordat je koopt. Het installeert de dienst en haalt niets binnen; jij kiest het model. Bij de andere rijen is de installatie één geplakte regel.

De installatie

Vier stappen

Installeer, haal een passend model binnen, praat ermee, houd het privé.

  1. Installeren. curl -fsSL https://ollama.com/install.sh | sh De dienst start op 127.0.0.1:11434 en blijft actief na een herstart.
  2. Haal een model binnen dat op deze machine past. ollama pull llama3.1:8b op 8 GB; qwen3:14b op 16 GB; gemma3:27b of qwen3:32b op 32 GB; llama3.3:70b op 64 GB.
  3. Gebruik het. ollama run llama3.1:8b, of de API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Vanaf je laptop: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Stel hem pas daarna open, achter authenticatie. systemctl edit ollama.service met Environment="OLLAMA_HOST=0.0.0.0:11434" maakt hem bereikbaar; een reverse proxy met een wachtwoord of een API-sleutel ervoor is niet optioneel, want Ollama heeft er geen.

Eerlijk gezegd

Wat wij zelf zouden kopen

Koop voor het model dat je echt gaat draaien, en weet hoe CPU-inferentie aanvoelt voordat je dat doet.

Voor de 8B-modellen

BD-8 · $12.90/mnd

4 vCPU en 8 GB voor $12.90 draaien llama3.1:8b of qwen3:8b met ruimte over, met een paar tokens per seconde: geschikt voor een privé-assistent waar je zelf mee praat, nachtelijke samenvattingen of embeddings voor een zoekindex. Wil je antwoorden van 27B-niveau, dan kan BD-64 voor $84.90 die aan, en de 70B-modellen ook, langzaam. Als mensen op de antwoorden gaan wachten, stop dan met het lezen van deze pagina en kijk naar de GPU-lijn.

BD-8 implementerenBD-64 voor de grote modellen

Vragen

Wat mensen vragen voordat ze er een kopen.

Hoeveel RAM heeft Ollama nodig?
Zoveel als het model plus wat marge: het modelbestand wordt in het geheugen geladen. Het register van Ollama vermeldt llama3.1:8b met 4.9 GB, qwen3:14b met 9.3 GB, gemma3:27b met 17.4 GB, qwen3:32b met 20.2 GB en llama3.3:70b met 42.5 GB, dus de niveaus zijn 8, 16, 32 en 64 GB. Het besturingssysteem en Ollama zelf willen nog een of twee gigabyte. Een model dat niet past, laadt niet of gaat swappen, wat erger is.
Hoe snel is het op een CPU-VPS?
Langzaam, en dat zeggen we eerlijk: een paar tokens per seconde voor een 8B-model op vier cores, minder voor grotere. Dat is prima voor taken die onbeheerd draaien en voor één persoon die chat, en niet voor een product waar gebruikers op wachten. Meer cores helpen een beetje; geheugenbandbreedte is de echte grens. Voor interactieve snelheid wil je een GPU, en dat is een andere pagina.
Heb ik een GPU nodig?
Niet om Ollama te draaien. Je hebt er een nodig om het snel te draaien. Alles op deze pagina is CPU-inferentie; de GPU-lijn heeft kaarten vanaf één L4, en een 7B-model dat op CPU kruipt, antwoordt daar direct. Beslis op basis van wie er op het antwoord wacht.
Wat doet de opstartpreset?
Het voert de officiële installer van Ollama uit, die de ollama-gebruiker aanmaakt en een systemd-dienst gebonden aan 127.0.0.1:11434, deze inschakelt en in de firewall alleen SSH openzet. Het haalt geen model binnen (die keuze hangt af van de machine die je hebt gekocht) en laat /root/OLLAMA-NEXT-STEPS.txt achter met de pull-commando's per RAM-niveau, het tunnelcommando en de waarschuwing over het openstellen van de API.
Kunnen andere machines het gebruiken?
Ja, zodra je OLLAMA_HOST=0.0.0.0:11434 instelt via systemctl edit ollama.service en de poort opent. Doe dat niet zonder een reverse proxy die een sleutel of wachtwoord vereist: Ollama heeft geen eigen authenticatie, en een open Ollama is gratis rekenkracht zonder GPU, gedoneerd aan het internet. Via SSH-tunnels of een VPN is dit allemaal niet nodig.
Waar komen de modellen te staan, en hoe groot worden ze?
Standaard /usr/share/ollama/.ollama/models, te wijzigen met OLLAMA_MODELS (de ollama-gebruiker moet eigenaar van de map zijn). Een bescheiden bibliotheek (een 8B, een 14B en een 32B) is ongeveer 35 GB, en daarom heeft elke rij op deze pagina 100 GB of meer.

Verder lezen

Gerelateerd