GPU-Instanzen sind diesen Monat in Frankfurt, Dallas und Singapur live gegangen. Zwei Konfigurationen für den Anfang: eine einzelne RTX 4000 Ada mit zwanzig Gigabyte VRAM und eine einzelne L40S mit achtundvierzig. Beide sitzen auf einem EPYC 9354P-Host, angebunden über PCIe 4.0 mit vollen sechzehn Lanes, direkt durchgereicht an eine Instanz.
Durchgereicht bedeutet, dass die Karte vom Hypervisor beim Booten an Ihre Instanz gebunden ist und dort bleibt, bis Sie kündigen. Kein Scheduler, keine Warteschlange, kein anderer Mandant, keine Partitionierung des VRAM, die jemand anderes ebenfalls nutzt.
Die Entscheidung, die wir tatsächlich getroffen haben
Time-Slicing einer Karte zwischen Mandanten ist eine unterstützte, gut dokumentierte, völlig legitime Art, dieses Geschäft zu betreiben. Wir haben etwa drei Wochen damit verbracht, die Kosten zu kalkulieren, denn die Rechnung ist attraktiv: Eine einzelne Achtundvierzig-Gigabyte-Karte kann als vier Zwölf-Gigabyte-Instanzen präsentiert werden, das sind vier Mieten von einem Kauf und vier Kunden von einem Strombudget.
Dann haben wir die Tail-Latenzen gemessen.
Eine gemeinsam genutzte Karte ist in Ordnung, wenn die anderen Mandanten untätig sind, und unangenehm, sobald sie es nicht sind. Die Inferenzlatenz auf einer Karte mit drei anderen aktiven Mandanten war ungefähr das, was Sie im Median erwarten würden, und vier- bis neunmal schlechter am neunundneunzigsten Perzentil, je nachdem, was die anderen gerade taten. Training-Jobs schnitten schlechter ab, weil ein Training-Job nicht bursty ist und daher nie die Lücken bekommt.
Da ist auch das Lizenzproblem. Die Virtualisierungssoftware, die eine saubere Partitionierung ermöglicht, trägt eine jährliche Pro-Karte-Lizenz, und diese Kosten verschwinden nicht; sie landen auf der Rechnung desjenigen, der den Teil mietet. Wir hätten Sie also für das Privileg des Teilens zur Kasse gebeten.
Wie der Host aufgebaut ist
| Element | Was es ist |
|---|---|
| Host-CPU | EPYC 9354P, zweiunddreißig Kerne, ECC DDR5-4800 |
| Anbindung | PCIe 4.0, sechzehn Lanes, eine IOMMU-Gruppe pro Karte |
| vCPU-Pinning | Gebunden an den Socket und die NUMA-Domäne, an der die Karte hängt |
| Speicher | Aus derselben NUMA-Domäne zugewiesen, niemals interleaved |
| Karten pro Knoten | Maximal vier, an den meisten Standorten zwei, begrenzt durch die Rack-Leistung |
| Port | 40 Gbit/s, denn ein Modell, das nicht in den VRAM passt, muss von irgendwoher kommen |
Das NUMA-Pinning ist wichtiger, als es das Datenblatt vermuten lässt. Eine vCPU auf dem falschen Socket, die eine Karte über das Interconnect speist, verliert echten Durchsatz bei allem, was Daten streamt, und es ist die häufigste Fehlkonfiguration, die wir anderswo auf GPU-Hosts sehen.
Strom, und warum es nur drei Standorte gibt
Eine Karte mit dreihundertfünfzig Watt verändert die Rechnung eines Racks. Standorte, die bequem zwölf Allzweck-Knoten aufnehmen, halten vier GPU-Knoten und dann geht ihnen die Kühlung aus. Frankfurt, Dallas und Singapur wurden gewählt, weil alle drei Stromreserven und einen Grundriss hatten, der die Dichte aufnehmen kann, ohne dass wir etwas neu verhandeln müssten.
Weitere Standorte folgen, sobald es der Strom zulässt, und die ehrliche Einschränkung ist immer Elektrizität und nicht Nachfrage. Wo ein Standort die Last nicht aufnehmen kann, verkaufen wir das Produkt lieber nicht, als es thermisch gedrosselt zu verkaufen.
Was Sie nicht tun können
- Keine Kartenkopplung über Knoten hinweg. Eine Zwei-Karten-Instanz existiert und beide Karten sitzen auf einer NUMA-Domäne. Alles Größere ist ein Gespräch über Bare-Metal.
- Keine Partitionierung innerhalb Ihrer Instanz. Sie haben die ganze Karte, und wie Sie sie aufteilen, ist eine Sache zwischen Ihnen und Ihrem Framework.
- Kein Hot-Swap. Ein Wechsel der GPU bedeutet einen Neuaufbau, da die Karte beim Booten gebunden ist.
- Keine Consumer-Gaming-Karten. Wöchentlich angefragt. Ihnen fehlt das Kühlprofil für ein Rack und in den meisten Fällen die Lizenz, überhaupt vermietet zu werden.
Preise, klar
Die Karten kosten, was sie kosten, und die Marge auf ihnen ist dünner als im restlichen Katalog. Es gibt keine stündliche Abrechnung, denn stündliche Abrechnung auf dedizierter Hardware bedeutet, Karten im Leerlauf zu halten und allen anderen das Privileg zu berechnen. Monatlich, mit der üblichen Sieben-Tage-Geld-zurück-Garantie, und dieselbe Krypto-Zahlung wie bei allem anderen.
Wenn Ihre Arbeitslast wirklich bursty und stündlich ist, sind wir der falsche Anbieter und ein großer Hyperscaler der richtige. Das wird so bleiben, solange wir uns weigern, Time-Slicing zu machen, und das ist auf unbestimmte Zeit.