Zum Inhalt springen

Cloud VPS · GPU

Eine GPU-Karte und eine ehrliche Beschreibung, wie viel davon Ihnen gehört.

7 Größen, von 1× ganze Karte für $2433.90 im Monat bis zu 8× ganze Karten einer NVIDIA B300 SXM mit 2304 GB VRAM. Jede Größe nennt ihre Karte, ihren VRAM und ob es sich um einen Anteil oder eine eigene Karte handelt, und jede Größe führt nur die Städte auf, in denen diese Karte tatsächlich auf Lager ist.

GPU-Server konfigurierenZu den Größen
Darstellung einer Grafikkarte, Lüfter nach obenDie ganze Karteoder ein AnteilNur wenn auf Lager

Größen

7 Größen, 5 Karten und wo jede davon eingerichtet wird.

Anteile werden als Anteile berechnet und ganze Karten als ganze Karten; die Spalte „Was Sie erhalten“ nennt das in den Begriffen des Anbieters. Die Standortspalte zeigt nicht die Abdeckung der ganzen Produktlinie, sondern wo genau diese Größe verfügbar ist.

Hier beginnen

Günstigster Einstieg

NVIDIA L40S 48 GB · 8 vCPU · 96 GB

G8-96

Die günstigste dieser Produktlinie, und $25.35 pro GB im Monat.

$2433.90/Monat

KonfigurierenDetails

Die Mitte der Produktlinie

NVIDIA H200 141 GB · 24 vCPU · 240 GB

G24-240-720

Die Hälfte der Größen dieser Produktlinie kostet weniger, die andere Hälfte mehr, und $26.19 pro GB im Monat.

$6285.90/Monat

KonfigurierenDetails

Meister RAM

NVIDIA B300 SXM 2304 GB · 224 vCPU · 3840 GB

G224-3840

Die größte dieser Produktlinie: 3840 GB, und $25.87 pro GB im Monat.

$99338.90/Monat

KonfigurierenDetails

Oder eingrenzen

Speicherplatz
Kerne

7 Maschinen in dieser Linie, mit dem Preis ihrer günstigsten Stadt.

  • NVIDIA L40S 48 GB · 8 vCPU · 96 GB

    G8-96 · Traffic wird nicht gezählt · Warschau

    $2433.90/Monat

    KonfigurierenDetails

  • NVIDIA H100 80 GB · 24 vCPU · 240 GB

    G24-240 · Traffic wird nicht gezählt · 2 Städte

    $4745.90/Monat

    KonfigurierenDetails

  • AMD Instinct MI325X 256 GB · 20 vCPU · 160 GB

    G20-160 · 15 TB Traffic · Toronto

    $5343.90/Monat

    KonfigurierenDetails

  • NVIDIA H200 141 GB · 24 vCPU · 240 GB

    G24-240-720 · 15 TB Traffic · 2 Städte

    $6285.90/Monat

    KonfigurierenDetails

  • NVIDIA H100 160 GB · 48 vCPU · 480 GB

    G48-480 · Traffic wird nicht gezählt · 2 Städte

    $9491.90/Monat

    KonfigurierenDetails

  • NVIDIA L40S 384 GB · 64 vCPU · 768 GB

    G64-768 · Traffic wird nicht gezählt · Warschau

    $19469.90/Monat

    KonfigurierenDetails
Jeder GPU-Tarif mit Karte, VRAM, Anteil an einer physischen Karte, der umgebenden Maschine, dem Standort und dem Monatspreis
TarifKarteVRAMWas Sie erhaltenMaschineAufgebaut inMonatlich
G8-96NVIDIA L40S48 GB1× ganze Karte8 vCPU · 96 GB RAM · 40 GB SSD · Traffic ungemessen🇵🇱 Warschau$2433.90
G24-240NVIDIA H10080 GB1× ganze Karte24 vCPU · 240 GB RAM · 40 GB SSD · Traffic ungemessen🇫🇷 Paris, 🇵🇱 Warschau$4745.90
G20-160AMD Instinct MI325X256 GB1× ganze Karte20 vCPU · 160 GB RAM · 720 GB SSD · 15 TB🇨🇦 Toronto$5343.90
G24-240-720NVIDIA H200141 GB1× ganze Karte24 vCPU · 240 GB RAM · 720 GB SSD · 15 TB🇺🇸 Atlanta, 🇺🇸 New York$6285.90
G48-480NVIDIA H100160 GB2× ganze Karten48 vCPU · 480 GB RAM · 40 GB SSD · Traffic ungemessen🇫🇷 Paris, 🇵🇱 Warschau$9491.90
G64-768NVIDIA L40S384 GB8× ganze Karten64 vCPU · 768 GB RAM · 40 GB SSD · Traffic ungemessen🇵🇱 Warschau$19469.90
G224-3840NVIDIA B300 SXM2304 GB8× ganze Karten224 vCPU · 3840 GB RAM · 40 GB SSD · Traffic ungemessen🇫🇷 Paris$99338.90

Die Preise sind in USD, zuzüglich Steuern, und verlängern sich zum ursprünglich gezahlten Preis. Bei jährlicher Abrechnung gibt es 10 % Rabatt auf denselben Preis. Es gibt keine Einrichtungsgebühr und keine Mindestlaufzeit außer der von Ihnen gewählten.

Was Sie kaufen

Ein Linux-Server mit angeschlossener Karte, und um den Treiber-Stack kümmern Sie sich selbst.

Diese Maschinen sind weiterverkaufter Bestand von Anbietern. Dadurch erhalten Sie Karten, die wir sonst nicht anbieten könnten, verzichten aber auf die Annehmlichkeiten unserer klassischen Plattform. Beide Seiten finden Sie unten.

Die Karte, als Anteil angegeben, wo es einer ist

Ist eine Größe ein Anteil einer physischen Karte, steht das dabei, „2-GB-Anteil einer A16 (geteilte Karte)“, und bei ganzen Karten steht, wie viele. Der Anteil stammt aus der Tarifdefinition des Anbieters, nicht von uns. Nichts hier rundet einen Anteil zu einer Karte auf.

Reines Linux, kein vorinstallierter Stack

Sie erhalten root auf einem der gleichen sechs Linux-Images, die auch der übrige Katalog anbietet. NVIDIA-Treiber, CUDA und Ihr Framework installieren und patchen Sie selbst. Es gibt kein Machine-Learning-Image und keinen Agenten von uns auf der Maschine.

Keine verwalteten Backups in dieser Produktlinie

Das nächtliche Backup-Add-on gehört zu einigen unserer anderen Produktlinien, und dies ist im Unterbau eine andere Plattform. Sichern Sie Ihre Daten selbst außerhalb des Servers, mit restic, borg oder rsync auf Speicher, den Sie kontrollieren, denn hier gibt es kein nächtliches Backup-Add-on zu kaufen.

Keine Benchmarks, denn unsere wären nicht Ihre

Der Durchsatz hängt von Ihrem Modell, der Batch-Größe, der Präzision und der Framework-Version ab. Wir veröffentlichen die Karte, den VRAM und den Anteil; die einzige vertrauenswürdige Messung ist die mit Ihrer eigenen Arbeitslast, und eine monatliche Laufzeit ist kurz genug dafür.

Bestellung

Der Bestand wird bestätigt, bevor die Maschine aufgebaut wird.

Dies ist die einzige Stelle, an der sich eine GPU-Bestellung anders verhält als eine CPU-Bestellung, daher lohnt es sich, dies vor der Zahlung zu lesen statt danach.

Auf Bestellung aufgebaut, nicht in einer Minute
Rechnen Sie mit einem Werktag. Die Bestellung wird mit dem tatsächlichen Bestand des Anbieters für diese Karte in dieser Stadt abgeglichen, und die Maschine wird nach der Bestätigung aufgebaut.
Ist die Karte weg, erfahren Sie es zuerst
Für eine Maschine, die wir nicht aufbauen können, wird nichts berechnet. Wir sagen Ihnen, welche andere Größe oder welcher andere Standort möglich ist, und Sie entscheiden.
Verfügbarkeit gilt je Größe, nicht je Produktlinie
Die Standorte unterscheiden sich je nach Größe: G8-96 gibt es in 1 Stadt, G224-3840 in 1. Der Konfigurator bietet nur Standorte an, an denen die gewählte Größe verfügbar ist, und der Warenkorb lehnt die übrigen ab.
Monatlich oder jährlich, je Server wählbar
Jährlich bedeutet 10 % Rabatt auf denselben Preis, wenn Sie zwölf Monate im Voraus zahlen. Vorausbezahlte Laufzeiten werden nicht erstattet, wenn Sie den Server vorzeitig löschen; deshalb ist monatlich der Standard.
Selbstverwaltet, wie der Rest des Katalogs
Root-Zugriff, Patches und Treiber-Stack liegen bei Ihnen. Der Support beantwortet Fragen zur Maschine und zum Netzwerk, nicht zu Ihrem Trainingslauf.
Größere Karten auf Anfrage, nicht im Katalog
Kapazität der Klasse H100, H200 und MI300 ändert sich von Woche zu Woche. Schreiben Sie an [email protected] mit Karte, Laufzeit und Region, um zu erfahren, was tatsächlich bestellbar ist.

Fragen

Die sieben Fragen, die man uns vor jeder GPU-Bestellung stellt.

Einschließlich der zwei Antworten, die uns Verkäufe kosten, was meist dafür spricht, dass sie stimmen.

Wird die GPU geteilt?
Das hängt von der Größe ab, und jede Größe gibt es an. Die kleineren Größen sind Anteile einer physischen Karte; die Spalte „Was Sie erhalten“ nennt den Anteil, zum Beispiel einen 2-GB-Anteil einer A16, deren Rest von anderen Kunden genutzt wird. Die größeren Größen sind ganze Karten, eine oder mehrere, die niemand sonst nutzt. Wir kennzeichnen das so, weil genau das darüber entscheidet, ob ein Tarif zu Ihnen passt, und kein Detail ist, das man erst nach der ersten Rechnung entdecken sollte.
Kann ich eine H100 bekommen?
Ja, sofern sie aufgeführt ist. Die Größen mit ganzer Karte auf dieser Seite sind derzeit G8-96 (1× ganze Karte einer NVIDIA L40S), G24-240 (1× ganze Karte einer NVIDIA H100), G20-160 (1× ganze Karte einer AMD Instinct MI325X), G24-240-720 (1× ganze Karte einer NVIDIA H200), G48-480 (2× ganze Karten einer NVIDIA H100), G64-768 (8× ganze Karten einer NVIDIA L40S) und G224-3840 (8× ganze Karten einer NVIDIA B300 SXM). Jede wird nur in den Städten aufgeführt, in denen der Anbieter die Karte bestätigt hat, und das ändert sich von Woche zu Woche. Die Tabelle ist also die Antwort, kein Versprechen. Für eine Karte oder Region, die dort nicht steht, schreiben Sie an [email protected] mit Karte, Laufzeit und Region, und Sie erhalten eine klare Antwort, was in dieser Woche bestellbar ist.
Warum erfolgt die Bereitstellung nicht sofort?
Weil am anderen Ende der Bestellung eine physische Karte steht. Eine CPU-Instanz stammt aus einem Pool, der praktisch immer verfügbar ist; eine GPU ist knapp, und unser Anbieter hat sie vielleicht heute Morgen an jemand anderen verkauft. Deshalb bestätigen wir die Karte anhand des tatsächlichen Bestands, bevor die Maschine aufgebaut wird, nicht danach. Rechnen Sie mit einem Werktag. Ist die Karte weg, erfahren Sie das, bevor etwas berechnet wird, und wir sagen Ihnen, welche anderen Größen oder Standorte stattdessen möglich sind.
Rechnen Sie stündlich ab?
Nein. Online-Bestellungen laufen monatlich oder jährlich, und jährlich gibt es 10 % Rabatt auf denselben Preis. Der Stundenwert neben jedem Preis ist der Monatspreis, verteilt auf einen Monat mit 730 Stunden: die Zahl, die Sie für den Vergleich mit einem nutzungsbasiert abrechnenden Anbieter brauchen, kein Preis, den wir berechnen. Bei GPUs ist dieser Unterschied wichtiger als bei CPU-Tarifen: Läuft Ihr Job sechs Stunden pro Woche, kostet Sie ein nutzungsbasierter Anbieter weniger als jeder Monatstarif, unserer eingeschlossen, und wir schreiben das lieber hier, als dass Sie es später selbst ausrechnen.
Mit welcher Größe sollte ich anfangen?
G8-96 für die meisten Aufgaben: 1× ganze Karte mit 48 GB VRAM für $2433.90 im Monat. Acht Gigabyte VRAM sind die Schwelle, ab der ein Modell mit 7 Milliarden Parametern in 8 Bit samt Platz für Kontext passt und SDXL ohne Kampf um Speicher läuft. Starten Sie darunter nur, wenn Sie eine CUDA-Maschine zum Entwickeln brauchen; wechseln Sie darüber, wenn Sie an eine konkrete Grenze stoßen: ein Modell, das nicht passt, oder eine lange Warteschlange, weil die Karte geteilt ist. Beides merken Sie sofort, wenn es eintritt.
Was ist auf der Maschine installiert?
Ein schlichtes Linux-Image und sonst nichts. NVIDIA-Treiber, CUDA, cuDNN und Ihr Framework installieren Sie selbst, zu denselben selbstverwalteten Bedingungen wie bei jedem anderen Server, den wir verkaufen. Wir liefern kein vorkonfiguriertes Machine-Learning-Image, und wir sagen das lieber auf dieser Seite, als dass Sie um 2 Uhr nachts ein leeres Treiberverzeichnis vorfinden.
Veröffentlichen Sie Benchmarks?
Nein, und das haben wir auch nicht vor. Der Durchsatz einer GPU hängt von Ihrem Modell, der Batch-Größe, der Präzision und der Framework-Version ab, daher stammte jede von uns veröffentlichte Zahl aus einer Arbeitslast, die nicht Ihre ist. Die Spezifikation besteht aus der Karte, dem VRAM und dem Anteil an der Karte; das sind Fakten. Was Sie damit erreichen, lässt sich nur mit Ihrer eigenen Arbeitslast messen, und die monatliche Laufzeit ist kurz genug, um das zu tun.

Weiterlesen

Wie es weitergeht.

Unsicher, ob eine GPU die Lösung ist

Zwei günstigere Optionen, die Sie zuerst prüfen sollten.