Dziennik
Inżynieryjny pamiętnik. Po incydentach publikujemy analizy z prawdziwymi znacznikami czasu, decyzje sprzętowe dostają liczby, które je uzasadniają, a zmiany polityki – uzasadnienie, nawet jeśli pokazuje nas w niekorzystnym świetle. Nic tutaj nie jest pisane przez dział marketingu, co staje się oczywiste po jednym akapicie.
Co się tu znajduje
Pisaliśmy te notatki tak czy inaczej. Ktoś musi wyjaśnić następnemu inżynierowi, dlaczego połówki lustra pochodzą z różnych dostaw, a skoro to już jest spisane, nie ma dobrego argumentu, żeby trzymać to za loginem.
Pięć kategorii. Ogłoszeń produktowych udających wgląd w firmę nie ma wśród nich.
Nie znajdziesz tu poradnika. Poradniki należą do [sekcji przewodników](/guides), a materiały referencyjne do [bazy wiedzy](/docs). Mieszanie ich wszystkich tworzy blog, którego nikt nie potrafi przeszukać. Aktualny stan infrastruktury jest na [stronie statusu](/status), która aktualizuje się bez pisania o tym prozy.
Incydent
Coś się zepsuło i klienci to zauważyli. Publikowane w ciągu dziesięciu dni roboczych, znaczniki czasu w UTC, przyczyna podana w pierwszym akapicie. Gdy przyczyną byliśmy my, wpis mówi to wprost, zanim powie cokolwiek innego.
Sprzęt
Co kupiliśmy, co zmierzyliśmy, a czego nie wzięliśmy. Migracje generacji, rodziny dysków i od czasu do czasu linia, która celowo zostaje o generację w tyle, bo nowszy element nie pomaga w obciążeniu.
Sieć
Transit, peering, filtrowanie, adresacja. Tu też publikujemy liczby, które inni operatorzy trzymają w tajemnicy, zaczynając od tego, co oznacza „bez limitu”, zanim ktokolwiek ci o tym napisze.
Platforma
Panel, kolejka provisioningu, API, nowe lokalizacje. Notatki o przepustowości też tu trafiają, w tym te mało efektowne, wyjaśniające, dlaczego dane miasto jest racjonowane, a nie rozbudowywane.
Polityka
Zmiany tego, co sprzedajemy, co przechowujemy i czego odmawiamy. Usunięcie najtańszej taryfy wciąż jest najczęściej czytanym wpisem na tej stronie, pięć lat po publikacji.
Jak powstaje opis incydentu
Styl redakcyjny to nie kwestia estetyki. Powstrzymuje nas przed cichym przeorganizowaniem złego tygodnia w ładniejszą historię, bo sekcja, którą trzeba by usunąć, rzuca się w oczy swoją nieobecnością.
Te same pięć nagłówków, ten sam porządek, za każdym razem.
- 01
Podsumowanie
Co się zepsuło, jak długo i kogo dotknęło, w mniej niż sześćdziesiąt słów. Jeśli przeczytasz tylko to, nadal powinieneś wiedzieć, czy dotyczyło to ciebie.
- 02
Oś czasu
Znaczniki czasu UTC od pierwszego objawu do pełnego odzyskania sprawności, wliczając minuty spędzone na szukaniu w złym miejscu. Te minuty zwykle są najciekawszą częścią dokumentu.
- 03
Przyczyna źródłowa
Mechanizm, a nie kategoria. Błąd ludzki nie jest przyczyną źródłową. Reguła klasyfikacyjna napisana w 2023 roku, która pozwoliła zmianie schematu pominąć etap canary, to przyczyna źródłowa i ma właściciela.
- 04
Co zmieniliśmy
Konkretnie, z datami i do sprawdzenia. Każda pozycja to coś, o co klient może nas poprosić, abyśmy zademonstrowali na rozmowie, i dwa razy ktoś to zrobił.
- 05
Czego nie zmieniliśmy i dlaczego
Sekcja, którą większość firm pomija. Czasami oczywista poprawka kosztuje więcej prywatności niż szkody wyrządzone przez błąd, a my wolelibyśmy o tym dyskutować publicznie, niż rozstrzygać po cichu.
“Jest trzecia nad ranem, a wasza strona statusu mówi, że strona działa. Strona nie działa.”
Post-mortemy publikujemy nawet wtedy, gdy nikt nie prosił, i nawet wtedy, gdy dotknięty klient niczego nie zauważył. Dwa z nich opisują kredyty, które wypłaciliśmy, mimo że SLA nas do tego nie zobowiązywało – to coś, co zapisuje się tylko raz.
Czytanie archiwum
Szesnaście wpisów, sześć i pół roku, jedna wyraźna luka.
Luka obejmuje okres od końca 2019 do października 2020. Stawialiśmy serwery, nie pisaliśmy, a to, co ostatecznie zaowocowało wpisem, to atak, który na jedenaście minut wyłączył Amsterdam z sieci. To częsty wzorzec w tej branży: nawyk dokumentowania zaczyna się w dniu, w którym coś kosztownego idzie nie tak.
Stare wpisy nigdy nie są edytowane w miejscu. Jeśli jakieś twierdzenie okazało się błędne, korekta jest dodawana z własną datą, a oryginalne zdanie zostaje dokładnie tam, gdzie było. Wpis, który po cichu się poprawia, jest bezwartościowy dla czytelnika.
| Okres | Co robiliśmy | Co jest udokumentowane |
|---|---|---|
| 2019 – 2020 | Cztery lokalizacje uruchomione w osiem tygodni, potem sześć kolejnych w roku pandemicznym | Dwa wpisy. Jedna notatka założycielska i jedno przeprosiny. |
| 2021 – 2022 | Usunięta tania taryfa, IPv6 domyślnie, zamówiony Zen 4, otwarty Reykjavík | Cztery wpisy, w tym ten, z którego najczęściej nas cytują. |
| 2023 – 2024 | Canary, GPU, Zen 5 i partia dysków, która padła razem | Pięć wpisów, jeden z nich z przeprosinami i zwrotem pieniędzy. |
| 2025 – 2026 | Przepisane provisionowanie, racjonowany Zurych, otwarte API, postawiony Johannesburg | Pięć wpisów i jeszcze jeden post-mortem. |
Platforma
05Sieć
03Incydent
03Sprzęt
03Polityka
02Pytania o sam dziennik
Jest – kanał Atom, link na dole tej strony, bez piksela śledzącego i bez listy mailingowej. Jeśli chcecie newslettera, musicie chcieć go gdzie indziej.
Nie. Wszystko tutaj zostało napisane przez kogoś, kogo można wezwać na dyżur – to jest cały sens istnienia tego dziennika.
Bo ich usunięcie byłoby nieuczciwe. Korekty są dodawane i datowane pod oryginalnym tekstem, więc widać zarówno to, co myśleliśmy, jak i kiedy przestaliśmy tak myśleć.
Tak, łącznie z fragmentami, przez które wypadamy źle, a zwłaszcza takimi. Wystarczy podanie źródła i link; nie trzeba pytać o pozwolenie i żadne nie zostanie udzielone bardziej formalnie niż to zdanie.
Jeśli dotknęła więcej niż jednego klienta, już tu jest albo jest w trakcie pisania. Usterki dotyczące pojedynczej instancji są obsługiwane w zgłoszeniu, bo post-mortem o jednym martwym dysku nikomu nie pomaga.
Sprzęt jest ciekawszy niż pisanie
Każde twierdzenie w tych wpisach można sprawdzić na serwerze, który dostaniesz w mniej niż minutę. Wybierz miasto, wybierz rozmiar, zapłać kryptowalutą i sprawdź liczby sam.