Zum Inhalt springen

Lösungen · Lokale Modelle

VPS für Ollama mieten

Ollama stellt offene Modelle über eine lokale API bereit, und die einzige feste Regel ist, dass das Modell in den Arbeitsspeicher passen muss: Ein Modell mit 8 Milliarden Parametern ist ein Download von 4.9 GB, ein 70B-Modell 42.5 GB. Auf einer CPU antwortet es mit wenigen Tokens pro Sekunde, was für einen privaten Assistenten, Batch-Jobs und Embeddings reicht, nicht aber für ein Chat-Produkt. BD-8 für $12.90 führt die 8B-Modelle aus; BD-64 für $84.90 die 70B-Modelle.

BD-8 bereitstellenC4-8-160 mit installiertem Ollama bereitstellen

Was es braucht

Software laut Dokumentation, Größen mit Quellenangabe

Software und Sicherheitskonfiguration stammen aus der Dokumentation des jeweiligen Projekts. Wo das Projekt keine Hardwareangabe veröffentlicht, ist bei den Größen angegeben, von wem sie stammen.

Aus docs.ollama.com und der Registry

  • Installieren: curl -fsSL https://ollama.com/install.sh | sh. Legt den Benutzer ollama und einen systemd-Dienst an.
  • Standardmäßig lauscht es auf 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 gibt es frei, und Ollama selbst hat keine Authentifizierung, also schalten Sie zuerst einen Proxy mit Authentifizierung davor.
  • Modelle liegen in /usr/share/ollama/.ollama/models; Größen laut Registry: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • Eine GPU ist optional: Ohne sie läuft das Modell langsam auf CPU und RAM; mit ihr läuft es schnell aus dem VRAM.

Größen (unsere Angaben: Das Modell muss mit Reserve in den RAM passen)

Dimensionierung nach Einsatzzweck
WorkloadvCPURAM
4B–8B-Modelle (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Assistenten, Zusammenfassungen, Embeddings. Wenige Tokens pro Sekunde auf der CPU.48 GB
12B–14B-Modelle (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Spürbar bessere Antworten, spürbar langsamer.616 GB
27B–32B-Modelle (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Brauchbar für Batch-Arbeit, nicht für einen wartenden Nutzer.832 GB
70B-Modelle (llama3.3:70b 42.5 GB)Passt. Langsam. Für interaktive Nutzung ist ein GPU-Server die ehrliche Antwort.1664 GB

Die passenden Tarife

4 Server, live bepreist

Sortiert nach Arbeitsspeicher, denn der entscheidet über das Modell. Die Preise sind tagesaktuell, pro Monat, aus dem Katalog.

  • BD-8$12.90/Monat

    4 vCPU · 8 GB · 100 GB Speicherplatz · 32 TB

    8 GB: die 8B-Modelle. 4 vCPU, 8 GB, 100 GB für Downloads. Führt llama3.1:8b, qwen3:8b, gemma3:4b aus. Den einzeiligen Installer fügen Sie selbst ein.

    Bereitstellen
  • U6-16-120$47.90/Monat

    6 vCPU · 16 GB · 120 GB Speicherplatz · Unmetered

    16 GB: die 14B-Modelle, Unmetered, Istanbul. 6 vCPU und 16 GB führen qwen3:14b und gemma3:12b aus; Traffic ohne Zähler, um Modelle frei herunterzuladen.

    Bereitstellen
  • BD-64$84.90/Monat

    16 vCPU · 64 GB · 500 GB Speicherplatz · 32 TB

    64 GB: bis 70B, 16 Kerne. Der günstigste Rechner auf dieser Seite, bei dem llama3.3:70b oder qwen3:32b in den Arbeitsspeicher passt. Rechnen Sie bei den großen mit ein paar Tokens pro Sekunde.

    Bereitstellen
  • C4-8-160$75.90/Monat

    4 vCPU · 8 GB · 160 GB Speicherplatz · 3 TB

    8 GB, wird mit installiertem Ollama geliefert. Die Vorlage installiert den Dienst bei einem Anbieter, der Startskripte ausführt; 160 GB Speicherplatz für eine Modellbibliothek.

    Mit Installation bereitstellen

„Installiert bereitstellen“ öffnet den Konfigurator mit unserem Ollama-Startskript vollständig im Startskript-Feld, bevor Sie kaufen. Es installiert den Dienst und lädt nichts herunter; das Modell wählen Sie. Bei den anderen Zeilen ist die Installation eine eingefügte Zeile.

Die Installation

Vier Schritte

Installieren, ein passendes Modell laden, damit sprechen, privat halten.

  1. Installieren. curl -fsSL https://ollama.com/install.sh | sh Der Dienst startet auf 127.0.0.1:11434 und übersteht Neustarts.
  2. Laden Sie ein Modell, das zu diesem Rechner passt. ollama pull llama3.1:8b bei 8 GB; qwen3:14b bei 16 GB; gemma3:27b oder qwen3:32b bei 32 GB; llama3.3:70b bei 64 GB.
  3. Nutzen. ollama run llama3.1:8b oder die API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Von Ihrem Laptop aus: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Erst dann freigeben, hinter einer Authentifizierung. systemctl edit ollama.service mit Environment="OLLAMA_HOST=0.0.0.0:11434" macht ihn erreichbar; ein vorgeschalteter Reverse Proxy mit Passwort oder API-Schlüssel ist nicht optional, denn Ollama hat keine eigene.

Ehrlich gesagt

Was wir tatsächlich kaufen würden

Kaufen Sie für das Modell, das Sie tatsächlich ausführen werden, und wissen Sie vorher, wie sich CPU-Inferenz anfühlt.

Für die 8B-Modelle

BD-8 · $12.90/Monat

4 vCPU und 8 GB für $12.90 führen llama3.1:8b oder qwen3:8b mit reichlich Reserve aus, mit wenigen Tokens pro Sekunde: richtig für einen privaten Assistenten, mit dem Sie selbst sprechen, nächtliche Zusammenfassungen oder Embeddings für einen Suchindex. Wenn Sie Antworten der 27B-Klasse möchten, fasst BD-64 für $84.90 diese und auch die 70B-Modelle, langsam. Wenn Menschen auf die Antworten warten, hören Sie hier auf zu lesen und sehen Sie sich die GPU-Linie an.

BD-8 bereitstellenBD-64 für die großen Modelle

Fragen

Was Kunden vor dem Kauf fragen.

Wie viel RAM braucht Ollama?
So viel wie das Modell plus etwas Reserve: Die Modelldatei wird in den Arbeitsspeicher geladen. Die Ollama-Registry führt llama3.1:8b mit 4.9 GB, qwen3:14b mit 9.3 GB, gemma3:27b mit 17.4 GB, qwen3:32b mit 20.2 GB und llama3.3:70b mit 42.5 GB, daher die Stufen 8, 16, 32 und 64 GB. Das Betriebssystem und Ollama selbst brauchen ein bis zwei weitere Gigabyte. Ein Modell, das nicht passt, lässt sich entweder nicht laden oder lagert aus, was schlimmer ist.
Wie schnell ist es auf einem CPU-VPS?
Langsam, und das ehrlich gesagt: wenige Tokens pro Sekunde für ein 8B-Modell auf vier Kernen, weniger für größere. Das ist in Ordnung für unbeaufsichtigte Jobs und für eine Person, die chattet, nicht aber für ein Produkt mit wartenden Nutzern. Mehr Kerne helfen ein wenig; die eigentliche Grenze ist die Speicherbandbreite. Für interaktive Geschwindigkeit brauchen Sie eine GPU, und das ist eine andere Seite.
Brauche ich eine GPU?
Nicht, um Ollama auszuführen. Sie brauchen eine, um es schnell auszuführen. Alles auf dieser Seite ist CPU-Inferenz; die GPU-Linie hat Karten ab einer einzelnen L4 aufwärts, und ein 7B-Modell, das auf der CPU kriecht, antwortet dort sofort. Entscheiden Sie danach, wer auf die Antwort wartet.
Was macht das Startskript-Preset?
Es führt den offiziellen Installer von Ollama aus, der den Benutzer ollama und einen an 127.0.0.1:11434 gebundenen systemd-Dienst anlegt, aktiviert ihn und öffnet in der Firewall nur SSH. Es lädt kein Modell (diese Wahl hängt vom gekauften Rechner ab) und hinterlegt /root/OLLAMA-NEXT-STEPS.txt mit den pull-Befehlen je RAM-Stufe, dem Tunnel-Befehl und der Warnung zur Freigabe der API.
Können andere Rechner ihn nutzen?
Ja, sobald Sie OLLAMA_HOST=0.0.0.0:11434 über systemctl edit ollama.service setzen und den Port öffnen. Tun Sie das nicht ohne einen Reverse Proxy, der einen Schlüssel oder ein Passwort verlangt: Ollama hat keine eigene Authentifizierung, und ein offenes Ollama ist eine kostenlose Rechenspende ohne GPU an das Internet. Über SSH-Tunnel oder ein VPN ist nichts davon nötig.
Wo werden die Modelle gespeichert, und wie groß werden sie?
Standardmäßig /usr/share/ollama/.ollama/models, änderbar mit OLLAMA_MODELS (das Verzeichnis muss dem Benutzer ollama gehören). Eine bescheidene Bibliothek (ein 8B, ein 14B und ein 32B) umfasst etwa 35 GB, weshalb jede Zeile auf dieser Seite 100 GB oder mehr hat.

Weiterlesen

Verwandt