Le istanze GPU sono state attivate questo mese a Francoforte, Dallas e Singapore. Due configurazioni per iniziare: una singola RTX 4000 Ada con venti gigabyte di VRAM e una singola L40S con quarantotto. Entrambe si basano su un host EPYC 9354P, collegate tramite PCIe 4.0 a piena larghezza di sedici linee, passate direttamente a una singola istanza.
Passate direttamente significa che la scheda è vincolata alla tua istanza dall'hypervisor all'avvio e rimane lì finché non annulli. Nessuno scheduler, nessuna coda, nessun altro tenant, nessuna partizione di VRAM che qualcun altro sta usando.
La decisione che abbiamo realmente preso
Il time-slicing di una scheda tra tenant è un modo supportato, ben documentato e del tutto legittimo di gestire questa attività. Abbiamo speso circa tre settimane a calcolarne i costi, perché l'aritmetica è interessante: una singola scheda da quarantotto gigabyte può essere presentata come quattro istanze da dodici gigabyte, il che significa quattro affitti da un singolo acquisto e quattro clienti da un singolo budget energetico.
Poi abbiamo eseguito le latenze di coda.
Una scheda condivisa va bene quando gli altri tenant sono inattivi e diventa sgradevole nel momento in cui non lo sono. La latenza di inferenza su una scheda con altri tre tenant attivi era più o meno quella che ci si aspetterebbe alla mediana e da quattro a nove volte peggiore al novantanovesimo percentile, a seconda di cosa gli altri stavano facendo. I job di training andavano peggio, perché un job di training non è a raffica e quindi non ottiene mai i vuoti.
C'è anche il problema della licenza. Il software di virtualizzazione che rende possibile una partizione pulita comporta una licenza annuale per scheda, e quel costo non evapora; finisce sulla fattura di chi affitta la fetta. Ti avremmo fatto pagare il privilegio di condividere.
Come è costruito l'host
| Elemento | Cos'è |
|---|---|
| CPU host | EPYC 9354P, trentadue core, ECC DDR5-4800 |
| Collegamento | PCIe 4.0, sedici linee, un gruppo IOMMU per scheda |
| Pinning vCPU | Ancorate al socket e al nodo NUMA da cui dipende la scheda |
| Memoria | Allocata dallo stesso nodo NUMA, mai interleaved |
| Schede per nodo | Quattro massimo, due nella maggior parte dei siti, limitate dall'energia del rack |
| Porta | 40 Gbit/s, perché un modello che non sta nella VRAM deve venire da qualche parte |
Il pinning NUMA conta più di quanto suggerisca il foglio delle specifiche. Una vCPU sul socket sbagliato che alimenta una scheda attraverso l'interconnect perde throughput reale su qualsiasi cosa trasmetta dati, ed è la configurazione errata più comune che vediamo sugli host GPU altrove.
Alimentazione e perché ci sono solo tre siti
Una scheda a trecentocinquanta watt cambia l'aritmetica di un rack. I siti che contengono comodamente dodici nodi generici contengono quattro nodi GPU e poi esauriscono il raffreddamento. Francoforte, Dallas e Singapore sono state scelte perché tutti e tre avevano margine di potenza e una planimetria che potesse gestire la densità senza rinegoziare nulla.
Altri siti seguiranno quando l'energia lo consentirà, e il vincolo onesto è sempre l'elettricità piuttosto che la domanda. Dove un sito non può sostenere l'assorbimento, preferiamo non vendere il prodotto piuttosto che venderlo con limitazione termica.
Cosa non puoi fare
- Nessun abbinamento di schede tra nodi. Un'istanza a due schede esiste ed entrambe le schede stanno su un singolo nodo NUMA. Qualcosa di più grande è una discussione sul bare metal.
- Nessuna partizione all'interno della tua istanza. Hai l'intera scheda, e come la dividi è tra te e il tuo framework.
- Nessuno scambio a caldo. Cambiare GPU significa una ricostruzione, perché la scheda è vincolata all'avvio.
- Nessuna scheda consumer per gaming. Richiesto settimanalmente. Non hanno il profilo di raffreddamento per un rack e, nella maggior parte dei casi, la licenza per essere noleggiate del tutto.
Prezzi, chiaramente
Le schede costano quello che costano e il margine su di esse è più sottile rispetto al resto del catalogo. Non esiste fatturazione oraria, perché la fatturazione oraria su hardware dedicato significa tenere schede inattive e far pagare a tutti gli altri il privilegio. Mensile, con il rimborso standard di sette giorni, e lo stesso pagamento solo crypto come tutto il resto.
Se il tuo carico di lavoro è davvero a raffica e orario, noi siamo il fornitore sbagliato e un grande hyperscaler è quello giusto. Questo sarà vero finché rifiuteremo di fare time-slicing, il che è a tempo indeterminato.