GPU örnekleri bu ay Frankfurt, Dallas ve Singapur'da kullanıma sunuldu. Başlangıç için iki yapılandırma: yirmi gigabayt VRAM'e sahip tek bir RTX 4000 Ada ve kırk sekiz gigabayt ile tek bir L40S. Her ikisi de EPYC 9354P ana bilgisayar üzerinde, PCIe 4.0 ile on altı tam hat üzerinden bağlanarak doğrudan bir örneğe aktarılır.
Aktarılmış, kartın önyükleme sırasında hipervizör tarafından örneğinize bağlandığı ve siz iptal edene kadar orada kaldığı anlamına gelir. Zamanlayıcı yok, kuyruk yok, başka kiracı yok, başka birinin de kullandığı VRAM bölümü yok.
Aslında verdiğimiz karar
Bir kartı kiracılar arasında zaman dilimlerine bölmek desteklenen, iyi belgelenmiş ve tamamen meşru bir işletme yöntemidir. Bu işi maliyetlendirmek için yaklaşık üç hafta harcadık çünkü aritmetik cazip: tek bir kırk sekiz gigabayt kart, dört adet on iki gigabaytlık örnek olarak sunulabilir, bu da tek bir satın alımdan dört kira ve tek bir güç bütçesinden dört müşteri demektir.
Sonra kuyruk gecikmelerini çalıştırdık.
Paylaşılan bir kart, diğer kiracılar boştayken iyidir, ancak boşta olmadıklarında rahatsız edicidir. Üç aktif kiracının bulunduğu bir kartta çıkarım gecikmesi, medyanda beklediğiniz gibiydi ve doksan dokuzuncu yüzdelik dilimde, başkalarının ne yaptığına bağlı olarak dört ila dokuz kat daha kötüydü. Eğitim işleri daha da kötüydü çünkü eğitim işi patlama yapmaz ve bu nedenle boşlukları asla alamaz.
Ayrıca lisans sorunu da var. Temiz bölümlemeyi mümkün kılan sanallaştırma yazılımı, kart başına yıllık lisans taşır ve bu maliyet buharlaşmaz; dilimi kiralayan kişinin faturasına yansır. Size paylaşım ayrıcalığı için ücret talep ediyor olurduk.
Ana bilgisayar nasıl inşa edilir
| Öğe | Ne olduğu |
|---|---|
| Ana bilgisayar CPU | EPYC 9354P, otuz iki çekirdek, ECC DDR5-4800 |
| Bağlantı | PCIe 4.0, on altı hat, kart başına bir IOMMU grubu |
| vCPU sabitleme | Kartın bağlı olduğu sokete ve NUMA düğümüne sabitlenmiş |
| Bellek | Aynı NUMA düğümünden ayrılmış, asla interleaved değil |
| Düğüm başına kart | En fazla dört, çoğu sitede iki, raf gücüyle sınırlı |
| Port | 40 Gbit/s, çünkü VRAM'e sığmayan bir modelin bir yerden gelmesi gerekiyor |
NUMA sabitleme, teknik özellik sayfasının önerdiğinden daha önemlidir. Yanlış soketteki bir vCPU, veri akışı sağlayan her şeyde ara bağlantı üzerinden kartı beslemek gerçek verimden vazgeçer ve başka yerlerde GPU ana bilgisayarlarda gördüğümüz en yaygın yanlış yapılandırmadır.
Güç ve neden yalnızca üç site var
Üç yüz elli watt'ta bir kart, rafın aritmetiğini değiştirir. On iki genel amaçlı düğümü rahatça barındıran siteler, dört GPU düğümünü barındırır ve ardından soğutma tükenir. Frankfurt, Dallas ve Singapur, üçünün de güç marjına sahip olması ve herhangi bir şeyi yeniden müzakere etmeden yoğunluğu kaldırabilecek bir kat planı olduğu için seçildi.
Güç izin verdikçe daha fazla site eklenir ve dürüst kısıtlama her zaman talep yerine elektriktir. Bir sitenin çekimi kaldıramadığı yerde, ürünü termal olarak kısılmış olarak satmaktansa satmamayı tercih ederiz.
Yapamayacaklarınız
- Düğümler arası kart eşleştirme yok. İki kartlı bir örnek vardır ve her iki kart da tek bir NUMA düğümünde bulunur. Daha büyüğü, çıplak donanım hakkında bir konuşmadır.
- Örneğinizin içinde bölümleme yok. Kartın tamamı sizindir ve onu nasıl böleceğiniz size ve çerçevenize kalmıştır.
- Sıcak takas yok. GPU değiştirmek yeniden kurulum gerektirir çünkü kart önyüklemede bağlanır.
- Tüketici oyun kartları yok. Haftalık sorulur. Raf için soğutma profili ve çoğu durumda kiralanma lisansı yoktur.
Fiyatlandırma, açıkça
Kartlar ne kadarsa o kadar maliyet ve üzerlerindeki marj kataloğun geri kalanından daha incedir. Saatlik faturalandırma yoktur çünkü özel donanımda saatlik faturalandırma, kartların boşta tutulması ve herkesten bu ayrıcalık için ücret alınması anlamına gelir. Aylık, standart yedi günlük para iadesi ve diğer her şeyle aynı kripto yalnızca ödeme.
İş yükünüz gerçekten patlama yapıyorsa ve saatlikse, biz yanlış tedarikçiyiz ve büyük bir hiper ölçekli doğru olan. Bu, zaman dilimlemeyi reddettiğimiz sürece geçerli olacaktır, ki bu süresizdir.