Ringkasan
Pada 19 Januari 2026, antara 14:02 dan 14:28 UTC, sekitar dua pertiga dari semua upaya masuk ke panel atau autentikasi terhadap API gagal. Sesi yang ada juga dibatalkan secara acak. Instance yang berjalan, jaringan, dan lalu lintasnya tidak terganggu selama kejadian. Penyediaan berhenti selama dua puluh enam menit dan kemudian mengalir; tidak ada pesanan yang hilang.
Linimasa
Semua waktu UTC, 19 Januari 2026.
| Waktu | Peristiwa |
|---|---|
| 14:02 | Perubahan skema token sesi diterapkan ke bidang kontrol. Peluncuran ditandai sebagai konfigurasi, sehingga berlaku ke keenam node panel sekaligus. |
| 14:03 | Tingkat kesalahan masuk naik dari hampir nol menjadi enam puluh satu persen. Peringatan otomatis memiliki jendela dua menit dan belum memicu. |
| 14:06 | Peringatan memicu. Teknisi jaga dihubungi. |
| 14:08 | Responden pertama online. Melihat tingkat kesalahan, tidak ada penyebaran di log perubahan kode, dan mulai memeriksa basis data. |
| 14:14 | Teknisi kedua bergabung, memeriksa log perubahan konfigurasi alih-alih log kode, dan menemukan entri 14:02. |
| 14:16 | Penyebab dipahami: dua node memvalidasi token dengan pembaca sebelumnya. |
| 14:19 | Pemutaran balik dimulai. |
| 14:24 | Token diterbitkan dan divalidasi dengan benar di keenam node. Tingkat kesalahan turun ke nol. |
| 14:28 | Pekerjaan penyediaan yang diantrekan mengalir. Pemulihan selesai. |
| 15:10 | Halaman status diperbarui. Terlambat empat puluh dua menit, yang merupakan kegagalan tersendiri dan dibahas di bawah. |
Akar penyebab
Token sesi mendapatkan bidang baru. Penulis mengeluarkan format baru segera; pembaca di dua dari enam node panel belum dimulai ulang dan menolak apa pun yang membawa bidang baru tersebut. Permintaan didistribusikan ke keenam node, sehingga sesi yang dibuat di node baru memiliki kira-kira satu-dari-tiga peluang untuk divalidasi oleh node lama pada setiap permintaan. Hasilnya tampak intermiten, itulah sebabnya enam menit pertama diagnosis masuk ke basis data alih-alih ke log penyebaran.
Penyebab lebih dalam adalah aturan yang kami tulis pada tahun 2023. Perubahan yang menyentuh berkas skema alih-alih kode aplikasi diklasifikasikan sebagai konfigurasi, dan konfigurasi melewati tahap canary dengan alasan bahwa itu, kutipan, hanya nilai. Aturan itu masuk akal ketika satu-satunya berkas skema adalah bendera fitur. Tidak ada yang meninjau ulang saat definisi berkas skema berkembang, dan perubahan ini diklasifikasikan dengan benar di bawah aturan yang diam-diam menjadi salah.
Itu bukan kesalahan oleh teknisi yang menerapkannya. Klasifikasi diikuti persis seperti yang tertulis.
Radius ledakan
- Masuk panel: tingkat kegagalan enam puluh satu persen selama dua puluh enam menit.
- Token API: tingkat kegagalan yang sama, jendela yang sama. Kunci idempotensi berarti pembuatan ulang tidak menggandakan.
- Instance yang berjalan: tidak terpengaruh. Tidak ada kehilangan paket, tidak ada mulai ulang, tidak ada dampak penyimpanan.
- Penyediaan: berhenti, bukan gagal. Empat pesanan diselesaikan selama jendela dan keempatnya selesai pada 14:28.
Yang kami ubah
- Tahap canary sekarang tanpa syarat. Apa pun yang diterapkan, klasifikasi apa pun, pergi ke satu node selama lima menit dengan lalu lintas sintetis sebelum pergi ke tempat lain. Selesai 21 Januari.
- Pembaca menerima format sebelumnya selama tiga puluh hari. Validasi token sekarang secara eksplisit diberi versi dengan jendela tumpang tindih, sehingga perubahan yang diluncurkan sebagian terdegradasi menjadi tidak ada sama sekali. Selesai 23 Januari.
- Masuk sintetis berjalan setiap lima belas detik dari luar jaringan kami, di tiga wilayah, dan menghubungi pada kegagalan berurutan kedua alih-alih setelah jendela rata-rata dua menit. Selesai 22 Januari.
- Halaman status diterbitkan secara otomatis ketika masuk sintetis gagal dua kali, tanpa menunggu manusia menulis kalimat. Kalimat manusia menyusulnya. Selesai 26 Januari.
Yang tidak kami ubah, dan alasannya
Kami tetap tidak mencatat IP klien atau isi permintaan untuk lalu lintas panel. Memilikinya akan menunjukkan distribusi satu-dari-tiga di seluruh node segera dan mungkin menghemat sembilan menit. Sembilan menit tidak sebanding dengan catatan permanen dari mana setiap pelanggan masuk. Tabel retensi di halaman pencatatan tetap tidak berubah.
Kami tidak memindahkan sesi ke penyimpanan bersama lintas situs. Toko sesi tunggal yang mencakup setiap situs akan menghindari masalah pembaca campuran sepenuhnya dengan memiliki satu pembaca. Itu juga akan menciptakan catatan terpusat, selalu panas tentang siapa yang terhubung ke apa yang telah kami habiskan enam tahun untuk tidak membangun.
Kami tidak menambahkan saluran pengumuman pemadaman di luar halaman status. Beberapa orang menyarankan media sosial. Halaman status adalah satu-satunya hal yang kami operasikan yang dapat kami komitmen untuk tetap akurat, dan menambahkan permukaan kedua berarti permukaan kedua yang menjadi basi.
Kredit
SLA mencakup ketersediaan instance. Instance tersedia selama dua puluh enam menit penuh, jadi berdasarkan kontrak tidak ada yang berutang apa pun. Kami menerapkan kredit satu hari ke setiap akun yang memiliki autentikasi gagal di jendela tersebut, yang mencapai sekitar tiga ribu seratus euro, karena memperdebatkan perbedaan dengan orang-orang yang tidak dapat mencapai server mereka adalah penggunaan sore yang lebih buruk bagi semua orang.