Les instances GPU sont mises en ligne ce mois-ci à Francfort, Dallas et Singapour. Deux configurations pour commencer : une seule RTX 4000 Ada avec vingt gigaoctets de VRAM, et une seule L40S avec quarante-huit. Les deux reposent sur un hôte EPYC 9354P, connectées via PCIe 4.0 sur seize lignes complètes, passées directement à une instance.
Passées en direct signifie que la carte est liée à votre instance par l'hyperviseur au démarrage et y reste jusqu'à ce que vous annuliez. Pas d'ordonnanceur, pas de file d'attente, pas d'autre locataire, pas de partition de VRAM que quelqu'un d'autre utilise également.
La décision que nous avons réellement prise
Le découpage temporel d'une carte entre locataires est une façon de faire étayée, bien documentée et tout à fait légitime. Nous avons passé environ trois semaines à en chiffrer le coût, car l'arithmétique est attrayante : une seule carte de quarante-huit gigaoctets peut être présentée comme quatre instances de douze gigaoctets, ce qui signifie quatre loyers pour un achat et quatre clients pour un budget d'alimentation.
Puis nous avons mesuré les latences extrêmes.
Une carte partagée est acceptable lorsque les autres locataires sont inactifs et désagréable dès qu'ils ne le sont plus. La latence d'inférence sur une carte avec trois autres locataires actifs était approximativement ce que l'on attendrait à la médiane et quatre à neuf fois pire au quatre-vingt-dix-neuvième percentile, selon ce que les autres se trouvaient faire. Les tâches d'apprentissage étaient pires, car une tâche d'apprentissage n'est pas sporadique et ne bénéficie donc jamais des trous.
Il y a aussi le problème de licence. Le logiciel de virtualisation qui permet un partitionnement propre porte une licence annuelle par carte, et ce coût ne s'évapore pas ; il atterrit sur la facture de celui qui loue la part. Nous vous aurions facturé le privilège de partager.
Comment l'hôte est construit
| Élément | Ce que c'est |
|---|---|
| CPU hôte | EPYC 9354P, trente-deux cœurs, ECC DDR5-4800 |
| Connexion | PCIe 4.0, seize lignes, un groupe IOMMU par carte |
| Épinglage vCPU | Épinglé au socket et au nœud NUMA auquel la carte est rattachée |
| Mémoire | Allouée depuis le même nœud NUMA, jamais entrelacée |
| Cartes par nœud | Quatre maximum, deux dans la plupart des sites, limité par la puissance du rack |
| Port | 40 Gbit/s, car un modèle qui ne tient pas dans la VRAM doit venir de quelque part |
L'épinglage NUMA compte plus que ce que suggère la fiche technique. Un vCPU sur le mauvais socket alimentant une carte via l'interconnexion perd un débit réel sur tout ce qui diffuse des données, et c'est la mauvaise configuration la plus courante que nous voyons ailleurs sur les hôtes GPU.
Puissance, et pourquoi il n'y a que trois sites
Une carte à trois cent cinquante watts change l'arithmétique d'un rack. Les sites qui accueillent confortablement douze nœuds polyvalents accueillent quatre nœuds GPU puis manquent de refroidissement. Francfort, Dallas et Singapour ont été choisis parce que tous trois avaient une marge de puissance et un plan d'étage capable de supporter la densité sans que nous ayons à renégocier quoi que ce soit.
D'autres sites suivront lorsque la puissance le permettra, et la contrainte honnête est toujours l'électricité plutôt que la demande. Lorsqu'un site ne peut pas supporter la consommation, nous préférons ne pas vendre le produit plutôt que de le vendre en limitant thermiquement.
Ce que vous ne pouvez pas faire
- Pas d'accouplement de cartes entre nœuds. Une instance à deux cartes existe et les deux cartes sont sur un seul nœud NUMA. Tout ce qui est plus grand est une conversation sur le bare metal.
- Pas de partitionnement dans votre instance. Vous avez toute la carte, et la façon de la diviser est une affaire entre vous et votre framework.
- Pas de changement à chaud. Changer de GPU signifie une reconstruction, car la carte est liée au démarrage.
- Pas de cartes gaming grand public. Question posée chaque semaine. Elles manquent de profil de refroidissement pour un rack et, dans la plupart des cas, de licence pour être louées du tout.
Tarification, clairement
Les cartes coûtent ce qu'elles coûtent et la marge sur elles est plus mince que sur le reste du catalogue. Pas de facturation horaire, car la facturation horaire sur du matériel dédié signifie maintenir des cartes inactives et facturer à tous les autres le privilège. Mensuel, avec le [remboursement de sept jours] standard (/legal/terms), et le même paiement en crypto uniquement que tout le reste.
Si votre charge de travail est vraiment sporadique et horaire, nous sommes la mauvaise solution et un grand hyperscalier est la bonne. Ce sera vrai tant que nous refuserons le découpage temporel, c'est-à-dire indéfiniment.