وحدات معالجة الرسومات GPU أصبحت متاحة هذا الشهر في فرانكفورت ودالاس وسنغافورة. تكوينان للبدء: RTX 4000 Ada واحدة بسعة عشرين غيغابايت من VRAM، وL40S واحدة بسعة ثمانية وأربعين. كلاهما على مضيف EPYC 9354P، متصلان عبر PCIe 4.0 بستة عشر مسارًا كاملة، مُمرَّرين مباشرة إلى مثيل واحد.
التمرير المباشر يعني أن البطاقة مرتبطة بمثيلك بواسطة المُفرط (hypervisor) عند الإقلاع وتبقى هناك حتى تلغي الطلب. لا جدولة، لا طابور، لا مستأجر آخر، لا تقسيم لـ VRAM يستخدمه شخص آخر أيضًا.
القرار الذي اتخذناه فعليًا
تقسيم الوقت لبطاقة بين المستأجرين هو طريقة مدعومة وموثقة جيدًا وشرعية تمامًا لإدارة هذا العمل. أمضينا حوالي ثلاثة أسابيع في حساب التكلفة، لأن الحسابات جذابة: بطاقة واحدة بسعة ثمانية وأربعين غيغابايت يمكن تقديمها كأربعة مثيلات بسعة اثني عشر غيغابايت، مما يعني أربعة إيجارات من عملية شراء واحدة وأربعة عملاء من ميزانية طاقة واحدة.
ثم قمنا بقياس زمن الاستجابة في الذيل.
البطاقة المشتركة جيدة عندما يكون المستأجرون الآخرون خاملين وغير مريحة بمجرد أن لا يكونوا كذلك. زمن استجابة الاستدلال على بطاقة مع ثلاثة مستأجرين نشطين آخرين كان تقريبًا كما تتوقع عند الوسيط وأسوأ بأربع إلى تسع مرات عند المئين 99، اعتمادًا على ما كان يفعله الآخرون. مهام التدريب كانت أسوأ، لأن مهمة التدريب ليست اندفاعية وبالتالي لا تحصل على فجوات أبدًا.
هناك أيضًا مشكلة الترخيص. برنامج المحاكاة الافتراضية الذي يجعل التقسيم النظيف ممكنًا يحمل ترخيصًا سنويًا لكل بطاقة، وهذه التكلفة لا تختفي؛ إنها تقع على فاتورة من يستأجر الجزء. كنا سنفرض عليك رسومًا مقابل امتياز المشاركة.
كيف تم بناء المضيف
| العنصر | ما هو |
|---|---|
| مضيف وحدة المعالجة المركزية | EPYC 9354P، اثنان وثلاثون نواة، ECC DDR5-4800 |
| الاتصال | PCIe 4.0، ستة عشر مسارًا، مجموعة IOMMU واحدة لكل بطاقة |
| تثبيت vCPU | مثبت على المقبس وعقدة NUMA التي تتصل بها البطاقة |
| الذاكرة | مخصصة من نفس عقدة NUMA، لا تختلط أبدًا |
| البطاقات لكل عقدة | أربعة كحد أقصى، بطاقتان في معظم المواقع، محدودة بطاقة الرف |
| المنفذ | 40 جيجابت/ثانية، لأن نموذجًا لا يتسع في VRAM يجب أن يأتي من مكان ما |
تثبيت NUMA أكثر أهمية مما يوحي به ورقة المواصفات. وحدة معالجة مركزية افتراضية على المقبس الخاطئ تغذي بطاقة عبر الوصلة البينية تخسر إنتاجية حقيقية على أي شيء يبث البيانات، وهذا هو الخطأ الأكثر شيوعًا الذي نراه في مضيفات GPU في أماكن أخرى.
الطاقة، ولماذا هناك ثلاثة مواقع فقط
بطاقة بقدرة ثلاثمائة وخمسين واط تغير حسابات الرف. المواقع التي تستوعب بشكل مريح اثني عشر عقدة للأغراض العامة تستوعب أربع عقد GPU ثم تنفد من التبريد. تم اختيار فرانكفورت ودالاس وسنغافورة لأن الثلاثة كان لديهم هامش طاقة وخطة أرضية يمكن أن تتحمل الكثافة دون إعادة التفاوض على أي شيء.
ستتبع المزيد من المواقع مع توفر الطاقة، والقيود الصادق دائمًا هو الكهرباء وليس الطلب. حيث لا يمكن للموقع تحمل الاستهلاك، نفضل عدم بيع المنتج على بيعه مع خنق حراري.
ما لا يمكنك فعله
- لا اقتران بطاقات عبر العقد. يوجد مثيل ببطاقتين وكلتا البطاقتين على عقدة NUMA واحدة. أي شيء أكبر هو محادثة حول المعدن العاري.
- لا تقسيم داخل مثيلك. لديك البطاقة كاملة، وكيفية تقسيمها هي بينك وبين إطار العمل الخاص بك.
- لا تبادل ساخن. تغيير GPU يعني إعادة بناء، لأن البطاقة مرتبطة عند الإقلاع.
- لا بطاقات ألعاب استهلاكية. يُسأل عنها أسبوعيًا. تفتقر إلى ملف التبريد المناسب للرف وفي معظم الحالات الترخيص لتأجيرها على الإطلاق.
التسعير، بوضوح
البطاقات تكلف ما تكلفه وهامش الربح عليها أضيق من باقي الكتالوج. لا يوجد فوترة بالساعة، لأن الفوترة بالساعة على أجهزة مخصصة تعني إبقاء البطاقات خاملة وفرض رسوم على الجميع مقابل الامتياز. شهريًا، مع استرداد خلال سبعة أيام القياسي، ونفس الدفع بالعملات المشفرة فقط كما هو الحال في كل شيء آخر.
إذا كان عبء العمل الخاص بك حقًا اندفاعيًا وبالساعة، فنحن المورد الخاطئ وهايبرسكيلر كبير هو الصحيح. سيكون ذلك صحيحًا ما دمنا نرفض تقسيم الوقت، وهو أمر غير محدد.