ملخص
في 14 أكتوبر 2020، بين الساعة 02:41 و02:52 بالتوقيت العالمي، كان كل مثيل في AMS-01 غير قابل للوصول. استهدف هجوم ضخم عنوان عميل واحد وبلغ ذروته عند 340 غيغابت/ثانية وأشبع روابط الموقع الصاعدة. قمنا بحل المشكلة بطلب التخلص من كل حركة المرور الموجهة إلى العنوان المستهدف من مزودي الاتصال، مما استعاد الموقع وأبقى ذلك العميل الواحد دون اتصال لمدة خمسين دقيقة إضافية. لم تُفقد أي بيانات ولم يتضرر أي مثيل. لم يكن لدى الموقع قدرة تنظيف في ذلك الوقت، وكان ذلك قرارًا شرائيًا وليس حادثًا.
الجدول الزمني
جميع الأوقات بالتوقيت العالمي، 14 أكتوبر 2020.
| الوقت | الحدث |
|---|---|
| 02:41:04 | ترتفع حركة المرور إلى عنوان عميل واحد من حوالي 200 ميغابت/ثانية إلى 90 غيغابت/ثانية في أقل من عشرين ثانية. |
| 02:41:30 | يصل كلا الرابطين الصاعدين للموقع إلى حد التشبع. يصبح فقدان الحزم كليًا عبر كل بادئة في الموقع، وليس فقط الهدف. |
| 02:42 | يتم إطلاق تنبيه تلقائي على إمكانية الوصول من ثلاث نقاط فحص خارجية. |
| 02:44 | مهندس الاستجابة متصل بالإنترنت. يكون الهجوم مرئيًا على رسوم المنافذ وليس في أي مكان آخر، لأن جمع التدفقات لدينا كان بمعدل عينات لا يستطيع مواكبة ذلك. |
| 02:46 | يتم قياس الذروة عند 340 غيغابت/ثانية. يتكون الهجوم من حزم UDP مرسلة، معظمها DNS وNTP، من عشرات الآلاف من المصادر. |
| 02:47 | يتم اتخاذ قرار بطلب التخلص من كل حركة المرور الموجهة إلى العنوان المستهدف من مزود الاتصال. كانت هذه هي الأداة الوحيدة المتاحة لنا. |
| 02:49 | ينتشر قرار التخلص في مزود الاتصال الأول. |
| 02:51 | يطبقه مزود الاتصال الثاني. ينخفض استخدام الرابط الصاعد دون السعة. |
| 02:52:10 | يصبح الموقع قابل للوصول بالكامل. إجمالي انقطاع مرئي للعملاء، إحدى عشرة دقيقة وست ثوانٍ. |
| 03:20 | يتم الاتصال بالعميل المتضرر وعرض عنوان جديد عليه. |
| 03:42 | ينتقل العميل إلى عنوان جديد؛ تعود خدمته. |
السبب الجذري
كان السبب المباشر هجومًا لم نتمكن من استيعابه. ما تسبب في ذلك فعليًا هو أننا بعنا استضافة في مدينة كانت الهجمات بهذا الحجم روتينية فيها، مع رابط صاعد بسعة مائتي غيغابت ولا أي تصفية على الإطلاق، وعاملنا اتفاقية التخلص مع مزود الاتصال كخطة.
هذا ليس سوء حظ. لقد كان قرارًا، اتُخذ في عام 2019 لصالح إنفاق الأموال على الأجهزة، وكان خاطئًا.
هناك خطآن ثانويان جعلا الأمر أسوأ. كان جمع التدفقات لدينا بمعدل عينات أعطانا تفاصيل غير مفيدة أثناء حدث حقيقي، لذلك قضيت الدقائق الأربع الأولى في قراءة عدادات الواجهات. وكان التخلص يدويًا، مما يتطلب إنسانًا مستيقظًا ومصادقًا وواثقًا، وهو ثلاثة متطلبات أكثر من اللازم في الثالثة فجرًا.
كم كلّف هذا العميل
لنكن صريحين: أصلحنا مشكلتنا بإيقاف خدمتهم. مسار التخلص هو قرار بأن عميلًا واحدًا سيكون غير قابل للوصول حتى لا يكون الآخرون كذلك. كان القرار صحيحًا بالأدوات المتاحة لدينا، وما زال انقطاعهم وليس انقطاعنا، ولم يشتروا منا أي منتج يعد بغير ذلك.
لقد بقوا. لم نفرض عليهم رسوم أكتوبر.
ما الذي غيرناه
- تنظيف دائم عند الحافة، تم شراؤه خلال ثلاثة أسابيع، بدءًا بسعة 1.2 تيرابت/ثانية. تبقى التصفية بشكل دائم في المسار، لذلك لا يوجد تأخير في الكشف ولا زر لأي شخص يضغطه في الساعة 02:47. هذا أصبح الآن معيارًا في كل موقع، حتى 12 تيرابت/ثانية في الأكبر.
- رفع الرابط الصاعد في AMS-01، أولاً إلى 200 غيغابت/ثانية من السعة الإضافية ولاحقًا إلى 400 غيغابت/ثانية التي يعمل بها الموقع اليوم.
- قياس عن بعد للتدفقات بدون عينات في كل حافة موقع، محتفظ به لأغراض تشغيلية لمدة سبعة أيام. هذا بيانات تعريف لحركة مرور منافذنا الخاصة؛ ليس حركة مرور مثيلات وليس محتويات أي شيء.
- أصبح مسار التخلص تلقائيًا، بعتبة موثقة وسياسة معلنة ورسالة بريد إلكتروني إلى العميل المتضرر خلال ستين ثانية بدلاً من تسع وثلاثين دقيقة.
- تُنشر الهجمات على صفحة الحالة، مع الحجم والمدة، سواء لاحظها أحد أم لا.
ما لم نغيّره، ولماذا
لم نبدأ بفرض رسوم على التصفية. التنظيف الأساسي مشمول في كل خطة في كل موقع وكان كذلك منذ اليوم الذي اشتريناه. الهجوم ليس خدمة طلبها الضحية. تصفية الطبقة السابعة بقواعد مخصصة موجودة كإضافة لأنها تحتاج إنسانًا من جانبنا، وهذا شيء مختلف عن فيضان حجمي.
لم نُزل مسار التخلص. اثنا عشر تيرابت في الثانية هو رقم، وليس ما لا نهاية، والتظاهر بأننا لن نحتاج أبدًا إلى الأداة الحادة سيكون غير صادق. ما تغير هو أنه أصبح الآن الملاذ الأخير الموثق بدلاً من الخطوة الوحيدة.
لم نفرض سقوف حركة مرور لكل عميل. تحديد معدل لكل عميل إلى جزء آمن من الرابط الصاعد كان سيمنع هذا وكان سيخنق أيضًا كل ارتفاع مشروع. التصفية تنتمي إلى الحافة، على الهجوم، وليس على العميل.
لم ننقل العميل إلى منتج مختلف. كانوا يشغلون ما دفعوا مقابله، على الخطة التي تناسبهم، ولم يكن خطأهم أن شخصًا ما وجّه شبكة بوت نت إليهم.