Bir kart, bir dilimi değil
Paylaşımlı bir GPU, sizinkinin başlamasından önce biten başka birinin işidir. Bu serideki her kart, tam on altı kanallı bir bağlantı üzerinden bir örneğe geçirilir ve siz iptal edene kadar, boşta olsun ya da olmasın, orada kalır.
A shared GPU is someone else’s job finishing before yours starts. Every card in this line is passed straight through to a single instance and stays there until you cancel.
| Plan | Ayrılmış çekirdekler | Bellek | NVMe depolama | Grafik | Port hızı | Fiyat | |
|---|---|---|---|---|---|---|---|
| G-ADA Inference and light training | 8 | 64 GB | 1 TB | 1 × RTX 4000 Ada · 20 GB | 40 Gbit/s | €239.00 /ay | Yapılandır |
| G-L40SEn çok kullanılan 48 GB of VRAM, undivided | 16 | 128 GB | 2 TB | 1 × L40S · 48 GB | 40 Gbit/s | €749.00 /ay | Yapılandır |
| G-L40S×2 Two cards, one NUMA node | 32 | 256 GB | 4 TB | 2 × L40S · 96 GB | 40 Gbit/s | €1420.00 /ay | Yapılandır |
Vergi dahil değildir, uygun olduğunda KDV hariçtir. Trafik: Sınırsız, adil kullanım.
EPYC 9354P host · PCIe 4.0 x16 passthrough · no vGPU time-slicing
Otuz dört şehir, yirmi dokuz ülke
Gecikme değerleri, satıcı broşürlerinden değil, kendi problarımızdan ölçülen medyanlardır. Hareket ederler; sayfa onlar hareket ettiğinde güncellenir.
Passthrough ve neden önemli
Ucuz GPU kapasitesinin çoğu, bir kuyrukta elden ele dolaşan bir kartın kesridir. Ürün sayfasındaki sayı kartın belleğidir, sizinki değil ve ölçtüğünüz iş hacmi, bu sabah başka kimin uyandığına bağlıdır.
vGPU yok, zaman dilimleme yok, sizinle silikon arasında zamanlayıcı yok.
Burada kart, on altı kanallı PCIe 4.0 bağlantısı üzerinden hiper yönetici düzeyinde örneğinize bağlanır. Cihazın tamamı sizindir: belleğin tamamı, tüm hesaplama birimleri, tam kopyalama motoru bant genişliği. Hiçbir şey bölünmez, hiçbir şey kuyruğa alınmaz ve cihaz listenizde başka bir kiracı görünmez.
Pratik sonuç, bu akşamki kıyaslamanızın geçen Salı kıyaslamanızla eşleşmesidir. İki gün süren ince ayar çalışmaları, ilk saatinizin öngördüğü sürede biter. Etkileşimli çalışma etkileşimli kalır, çünkü sizinkinin önünde başka bir kiracının toplu işi yoktur.
Tüm VRAM, her zaman
L40S'te kırk sekiz gigabayt, RTX 4000 Ada'da yirmi gigabayt ve hiçbiri hiper yönetici bölümü için ayrılmamıştır. Kartta ne varsa, sürecinizin adresleyebileceği odur.
Boşta olmak size ekstra maliyet çıkarmaz
Kart size saniye başına değil, ay bazında aittir. Deneyler arasında bir modeli üç hafta bellekte tutun, siz uyurken kimse onu geri almaz.
İki kart, tek ana bilgisayar
Çift kart katmanı, her iki cihazı da aynı ana bilgisayarın aynı NUMA alanına koyar. Karttan karta bağlantı yerine PCIe üzerinden konuşurlar; bu, etraflarında bir eğitim topolojisi planlamadan önce bilmeye değer.
Kendi yığınız
Size içinde kart olan bir makine veriyoruz ve araya girmiyoruz. Sürücüler, konteyner çalışma zamanı, çerçeve sürümleri ve çekirdek sizin. Python'unuz hakkında fikri olan yönetilen bir katman yok.
Bu kartlar ne için uygun
Her iki kart da bir eğitim kümesinin tepesinden ziyade iş istasyonu sınıfındadır ve dürüst konumlandırma bundan kaynaklanır.
Çıkarım, ince ayar, render ve toplu sayısal iş. Bu sırayla.
Modeliniz kırk sekiz gigabayta sığıyorsa, bir L40S onu ödediğiniz sürece yetkin bir şekilde sunacaktır. Sığmıyorsa, hiçbir coşku onu sığdırmaz ve bir sonraki dürüst adım nicemleme, çift kart katmanına bölme veya tamamen farklı bir makine sınıfıdır.
| İş Yükü | Hangi kart | Gerçek kısıt |
|---|---|---|
| Nicelenmiş bir modeli gerçek kullanıcılara sunmak | RTX 4000 Ada | Bellek, sonra istek eşzamanlılığı |
| Orta boy bir modeli tam duyarlılıkta sunmak | L40S | Kırk sekiz gigabayt, buna karar veren tavan |
| Adaptörlerle ince ayar | L40S | Geri yayılım sırasında VRAM, ham aktarım hızı değil |
| Büyük bir modelin tam ince ayarı | İki L40S veya başka bir yer | PCIe üzerinden karttan karta bant genişliği sınır haline gelir |
| Toplu render ve video kodlama | Her ikisi de | Karttan çok daha sık disk ve ağ |
| Çift duyarlıklı sayısal simülasyon | Genellikle hiçbiri | Bunlar çift duyarlıklı parçalar değil. EPYC çekirdekleri alın |
Bunu kim satın almamalı
GPU kapasitesi, sattığımız diğer tüm ürünlerden daha fazla iyimser boyutlandırma çeker. Üç grup insan bu hattın önünden yürüyüp geçmeli.
Bazı müşterilere söyleyebileceğimiz en yararlı şey, bizim yanlış dükkan olduğumuzdur.
Sıfırdan çok büyük bir şey eğitiyorsunuz
Ana bilgisayarlar arasında yüksek bant genişlikli ara bağlantı ile çok düğümlü eğitim, bu işin amacı değil. Tek ana bilgisayarda PCIe üzerinden iki kart bizim tavanımız ve aksini iddia etmek haftalarca zamanınızı boşa harcar.
Saniyelik faturalandırma istiyorsunuz
Kartlar aylık kiralanır. Kullanımınız gerçekten haftada yirmi dakikaysa, ölçüm yapan bir platform size bizden daha ucuza gelir ve bunu şimdi söylemeyi tercih ederiz.
Modeliniz sığmıyor
İki kart arasında doksan altı gigabayt burada adreslenebilir maksimumdur. Sipariş vermeden önce ağırlıklar, aktivasyonlar ve iyileştirici durumu için bellek aritmetiğini önceden yapın, sonradan değil.
Çift duyarlıklı ihtiyacınız var
Bunlar tek duyarlıklı ve karışık duyarlıklı parçalardır. FP64 verimliliğinde ısrar eden bilimsel kodlar, kırk sekiz EPYC çekirdeğinde her iki karttan daha hızlı çalışacaktır.
Yığını yönetmemizi istiyorsunuz
Sürücünüzü, CUDA sürümünüzü veya çerçeve matrisinizi biz bakım yapmıyoruz. Sertleştirme eklentisi işletim sistemi temelini kapsar ve orada durur.
Kartın etrafındaki ana bilgisayar
Aç kalmış bir GPU, pahalı bir alan ısıtıcıdır. Ana bilgisayar kart kadar önemlidir ve ucuz GPU tekliflerinin çoğunun maliyeti sessizce kıstığı yerdir.
EPYC 9354P, ECC bellek, makineye yerel NVMe, kırk gigabit bağlantı noktası.
Onu besleyebilecek çekirdekler
Kademeye bağlı olarak sekiz ila otuz iki adanmış EPYC çekirdeği, kartla aynı NUMA alanına sabitlenmiş. Veri yükleme ve ön işleme, bir eğitim döngüsünün durmasının olağan nedenidir ve bunlar CPU işidir.
Ana bilgisayarda ECC bellek
Kayıtlı DDR5-4800, altmış dört ila iki yüz elli altı gigabayt. Kırk sekiz saatlik bir iş, bir veri yükleyici arabelleğindeki tek bir bitin bozulmasıyla geri alınmaması gereken türden bir şeydir.
Ayak uydurabilen NVMe
Bir ila dört terabayt yerel Gen4 NVMe, yansıtmalı. Veri kümeleri, makinenin kendisinden akar; başka birinin de okuduğu bir ağ biriminden değil.
Kırk gigabitlik bir port
Çok terabaytlık bir veri kümesini indirmek bir akşam sürmeli. Kırk gigabitlik bir portta adil kullanım ayda iki yüz elli terabayttır, fiyatlandırma sayfasında yayınlanır.
Bant dışı konsol
Kimlik doğrulamalı bir tünel üzerinden seri ve VNC, dahildir. Sürücü kurulumu gece yarısı ters gittiğinde makineye hâlâ erişebilirsiniz; bu onun var olma sebebidir.
Kart geçirilir, bu yüzden sürücü örneğinizin içine diğer herhangi bir makine gibi kurulur. Ana bilgisayarda hiçbir şey çerçevenize dokunmaz ve yeniden başlatma hiçbir şeyi yeniden müzakere etmez.
Kartlar nerede
Amsterdam, Frankfurt, Londra, New York, Dallas, Los Angeles, Singapur ve Tokyo. Bunlar, kartları kibar aralıklarla değil sürekli tam yükte çalıştıracak güç yoğunluğuna ve soğutmaya sahip katlardır.
Altı ülkede sekiz site. GPU'lar güç ve soğutma gerektirir, posta kodu değil.
Frankfurt, işlettiğimiz en yoğun GPU katıdır ve yeni kartları ilk alan orasıdır. Dallas, kısa sürede kapasite bulmanın en kolay olduğu yerdir, çünkü orada elektrik ucuzdur ve kat geniştir. Los Angeles kart taşır ancak genellikle düşük çalışır, bu yüzden Asya'ya batıya giden rota satın aldığınız şeyse erken sipariş verin.
Bu hatta stok gerçekten hareket ediyor. Öğlen müsait görünen bir kart akşam olmayabilir ve bu hafta dolduramayacağımız bir siparişi almaktansa size doğru bir tükenmiş etiketi göstermeyi tercih ederiz.
| Site | Notlar | Tipik kullanım |
|---|---|---|
| Amsterdam | Filonun en yoğun bölgesi, her şey önce buraya gönderilir | Kıtanın çoğuna düşük gecikmeli Avrupa çıkarımı |
| Frankfurt | En yoğun GPU katı, yeni kartları ilk alan | Kapasitenin son milisaniyeden daha önemli olduğu eğitim ve ince ayar |
| Londra | Avrupa'da en düşük transatlantik gecikme | Tek yerden Atlantik'in iki yakasındaki kullanıcılara hizmet |
| New York | Doğu yakası merkezi, tam ürün yelpazesi | Kuzey Amerika çıkarımı |
| Dallas | Ucuz elektrik, geniş kat, en kolay kapasite | Uzun toplu işler ve fiyata duyarlı her şey |
| Los Angeles | Asya dışındaki en iyi batıya giden rotalar | Kuzey Amerika'dan Pasifik halkasına hizmet |
| Singapur | Güneydoğu Asya için varsayılan seçim | Bölgesel çıkarım |
| Tokyo | Bölgedeki en istikrarlı gidiş-dönüş süresi | Gecikmeye duyarlı Japon ve Kore trafiği |
Uzun işler ve birini kaybetmemek
Kırk sekiz saatlik bir ince ayar, iki gün boyunca hiçbir şeyin ters gitmemesine bahis oynamaktır. İşi, bahsi kaybetmenin size hafta sonuna değil bir saate mal olacağı şekilde yapılandırın.
Kontrol noktası. Yüz kez duyduktan sonra bile yine söyleyeceğiz.
- 01
Sık sık yerel NVMe'ye kontrol noktası alın
Her birkaç yüz adımda, yerel diske; çünkü maliyeti ihmal edilebilir düzeyde hızlıdır. Sürdürülemeyen bir iş, sonunda iki kez çalıştıracağınız bir iştir.
- 02
Kontrol noktalarını sunucudan kopyalayın
Yerel NVMe yansıtmalıdır, ölümsüz değil. Düğüm dışı yedekleme her gece farklı bir şehre yazar ve bu sayfadaki en ucuz sigortadır.
- 03
Sürücüye dokunmadan önce anlık görüntü alın
Sürücü ve çerçeve yükseltmeleri, çalışan bir ortamın çalışmayan bir ortama dönüşmesinin önde gelen nedenidir. Anlık görüntü almak saniyeler sürer, geri yüklemek de saniyeler sürer.
- 04
Sıcaklığı ve saat hızlarını izleyin, sadece kaybı değil
Oda kötü bir gün geçirdiğinde kartlar kısılır. Kodunuz değişmeden iş çıktınız düşerse, veri yükleyiciyi yeniden yazmadan önce saat değerlerine bakın.
- 05
Yatay ölçeklemeden önce sorun
Bir sonraki adım dört veya sekiz kartsa, destek ekibine ne yapmaya çalıştığınızı söyleyin. Bazen cevap bare-metal bir makinedir ve bazen de doğru tedarikçi biz olmadığımızdır.
Donanım arızalandığında
GPU'lar genellikle aniden ölmez, yavaş yavaş bozulur: düşen saat hızları, kartta düzeltilmiş bellek hataları, kodunuzda bulamadığınız bir nedenle işin üçte bir oranında yavaşlaması.
Kartlar disklerden farklı arızalanır. Daha yavaş ve daha fazla uyarı ile.
İzleme sistemimiz her sunucuda kart sıcaklığını, saat davranışını ve hata sayaçlarını izler. Bir kart kötü davranmaya başladığında, çalışmayı durdurmadan önce sizinle iletişime geçeriz ve değişimi işinizin ortasında değil, işinizin etrafında planlarız. Kart tamamen arızalanırsa, örneğiniz aynı sitedeki başka bir sunucuda, birimleri ve adresleri korunarak yeniden oluşturulur.
Bu hatta kurtarma, filonun diğer bölümlerine göre daha yavaştır ve bunun nedenini açıkça söylemekte fayda var: bir terabaytlık veri seti ve yerleşik bir modelin taşınması ve yeniden yüklenmesi gerçekten dakikalar alır. On beş dakika yerine bir saat planlayın ve kontrol noktalarınızı yanan makineden başka bir yerde tutun.
Mümkünse arızadan önce uyarı
Hata sayaçları ve saat telemetrisi sürekli okunur. Çoğu kart değişimi, müşteriyle önceden anlaştığımız bir zaman diliminde gerçekleşir.
Birimler ve adresler korunur
Yeniden oluşturma, NVMe içeriğinizi ve IP adreslerinizi taşır. DNS'inizde veya sertifikalarınızda hiçbir şeyin değişmesi gerekmez.
Krediler otomatiktir
%99.99 sözleşmeli çalışma süresi burada da geçerlidir ve kredi, talep formu olmadan hesabınıza yansır.
Bu hat hakkında sorular
Fiziksel cihaz, örneğinize tam on altı şeritli bir bağlantı üzerinden bağlanır. vGPU bölümlemesi, zaman paylaşımı veya başka bir kiracı yoktur. Cihaz listeniz tek bir kart gösterir çünkü tek kart vardır.
Hayır. Kartlar aylıktır ve en kısa taahhüt bir aydır. İş yükünüz gerçekten patlamalıysa, ölçüm tabanlı bir sağlayıcı daha ucuz olacaktır ve bu konuşmanın aksini iddia ettiğimiz bir versiyonu yok.
Sormadıkça hiçbiri. Görüntüler temiz gelir ve sürücü örneğinizin içine kurulur, çünkü GPU müşterilerimizin yarısının sürümler hakkında güçlü görüşleri vardır ve diğer yarısı kendi sürücüsünü taşıyan bir konteynere sahiptir.
Hayır. Aynı sunucuda ve aynı NUMA alanında bulunurlar ve PCIe üzerinden iletişim kurarlar. Makul degrade değişimi olan veri paralel işleri için bu yeterlidir. Yüksek bant genişlikli karttan karta doku varsayan herhangi bir şey için bu yeterli değildir ve beklentilerinizi buna göre boyutlandırmalısınız.
Hayır. Geçiş, PCIe topolojisi ve güç bütçesiyle buna göre oluşturulmuş bir sunucu gerektirir. Bu hatta geçmek, yeni bir örnek ve veri kopyalama anlamına gelir.
Birim silinir ve kart havuza geri döner. Süre bitmeden kontrol noktalarınızı alın, çünkü iptal edilmiş bir örnek gerçekten gider, fikrinizi değiştirmenizi bekleyen bir yere park edilmez.
Tam bir kart alın
Önce bellek aritmetiğini kontrol edin, kapasitesi olan siteyi seçin ve kripto para ile ödeyin. Root erişimi bir dakikadan kısa sürede gelir, sürücü kararı sizde kalır ve ilk yedi gün sebepsiz iade edilebilir.