Özet
14 Ekim 2020'de, 02:41 ile 02:52 UTC arasında, AMS-01'deki her örnek erişilemez durumdaydı. Tek bir müşteri adresine yönelik hacimsel bir saldırı 340 Gbit/s'ye ulaştı ve sitenin uplink'lerini doyurdu. Bunu, yukarı akıştan hedef adrese giden tüm trafiği atmasını isteyerek çözdük; bu, siteyi geri getirdi ve o tek müşteriyi elli dakika daha çevrimdışı bıraktı. Hiçbir veri kaybolmadı ve hiçbir örnek zarar görmedi. Sitenin o sırada tarama kapasitesi yoktu ve bu bir kaza değil, satın alma kararıydı.
Zaman Çizelgesi
Tüm saatler UTC, 14 Ekim 2020.
| Zaman | Olay |
|---|---|
| 02:41:04 | Tek bir müşteri adresine giden trafik yirmi saniyeden kısa sürede yaklaşık 200 Mbit/s'den 90 Gbit/s'ye yükselir. |
| 02:41:30 | Sitenin her iki uplink'i de doyar. Paket kaybı, yalnızca hedefe değil, sitedeki her önekte toplam hale gelir. |
| 02:42 | Otomatik uyarılar, üç harici probun erişilebilirliği üzerinde tetiklenir. |
| 02:44 | Nöbetçi mühendis çevrimiçi. Saldırı, port grafiklerinde görünür ve başka hiçbir yerde görünmez; çünkü akış toplama, başa çıkamayacak bir oranda örneklenmişti. |
| 02:46 | Tepe ölçümü 340 Gbit/s. Bileşim on binlerce kaynaktan yansıyan UDP, çoğunlukla DNS ve NTP. |
| 02:47 | Yukarı akıştan hedef adrese giden tüm trafiğin atılmasını talep etme kararı alındı. Bu, kullanılabilir tek araçtı. |
| 02:49 | Atma, ilk yukarı akışta yayılır. |
| 02:51 | İkinci yukarı akış uygular. Uplink kullanımı kapasitenin altına düşer. |
| 02:52:10 | Site tamamen erişilebilir. Toplam müşteri tarafından görülebilen kesinti: on bir dakika altı saniye. |
| 03:20 | Etkilenen müşteriyle iletişime geçildi ve yeni bir adres teklif edildi. |
| 03:42 | Müşteri yeni bir adrese taşındı; hizmeti geri döndü. |
Kök Neden
Yakın neden, ememediğimiz bir saldırıydı. Asıl nedeni, iki yüz gigabit uplink ve hiçbir filtreleme olmadan, bu büyüklükteki saldırıların rutin olduğu bir şehirde barındırma satmamız ve yukarı akış atma anlaşmasını bir plan olarak ele almamızdı.
Bu kötü şans değil. 2019'da parayı donanıma harcamak lehine yapılan bir karardı ve yanlıştı.
İki ikincil hata durumu daha da kötüleştirdi. Akış toplama, gerçek bir olay sırasında bize yararlı bir ayrıntı vermeyecek bir oranda örneklenmişti; bu yüzden ilk dört dakika arayüz sayaçlarını okuyarak geçti. Ayrıca atma manueldi; bir insanın uyanık, kimliği doğrulanmış ve kendinden emin olmasını gerektiriyordu ki bu, sabah üçte üç gereksinimden fazladır.
Bunun Müşteriye Maliyeti
Açık olmak gerekirse: sorunumuzu hizmetlerini kapatarak çözdük. Atma rotası, bir müşterinin erişilemez olacağına, diğerlerinin erişilebilir kalacağına karar vermektir. Sahip olduğumuz araçlarla doğru karardı; yine de bu, bizim değil onların kesintisiydi ve onlar bize bunun aksini vaat eden bir ürün satın almamışlardı.
Kaldılar. Ekim için onları ücretlendirmedik.
Ne Değiştirdik
- Uçta her zaman açık tarama, üç hafta içinde satın alındı, 1.2 Tbit/s kapasiteyle başlıyor. Filtreleme kalıcı olarak yolda olduğundan, algılama gecikmesi yok ve 02:47'de kimsenin basabileceği bir düğme yok. Bu artık her sitede standart, en büyükte 12 Tbit/s'ye kadar.
- AMS-01'de uplink yükseltildi, önce 200 Gbit/s ek kapasite, ardından bugün sitenin çalıştığı 400 Gbit/s'ye.
- Örneksiz akış telemetrisi her site ucunda, yedi gün boyunca operasyonel amaçlarla saklanır. Bu, kendi portlarımızın trafik meta verisidir; örnek trafiği değildir ve hiçbir şeyin içeriği değildir.
- Atma rotası otomatik hale geldi, belgelenmiş bir eşik, duyurulmuş bir politika ve otuz dokuz dakika değil altmış saniye içinde etkilenen müşteriye bir e-posta ile.
- Saldırılar, boyut ve süre ile birlikte [durum sayfasında](/tr/status) yayınlanır, kimse fark etsin ya da etmesin.
Ne Değiştirmedik ve Neden
Filtreleme için ücretlendirmeye başlamadık. Temel tarama, her sitedeki her planda dahildir ve satın aldığımız günden beri hep böyleydi. Saldırı, mağdurun istediği bir hizmet değildir. Özel kurallarla 7. katman filtreleme, bizim tarafımızda bir insan gerektirdiği için eklenti olarak mevcuttur ve bu, hacimsel bir selden farklı bir şeydir.
Atma rotasını kaldırmadık. On iki terabit/saniye bir sayıdır, sonsuzluk değildir ve kaba alete bir daha asla ihtiyaç duymayacağımızı iddia etmek dürüst olmaz. Değişen, bunun tek adım yerine belgelenmiş son çare olmasıdır.
Müşteri başına trafik tavanı koymadık. Her müşteriyi uplink'in güvenli bir bölümüne sınırlamak bunu önlerdi ve aynı zamanda meşru tüm ani artışları da kısıtlardı. Filtreleme uçta, saldırıda olmalı; müşteride değil.
Müşteriyi farklı bir ürüne taşımadık. Ödedikleri şeyi, kendilerine uygun planda çalıştırıyorlardı ve bir botnet'i onlara yöneltmek onların suçu değildi.