Dagboek
Een technisch dagboek. Incidenten krijgen een analyse met echte tijdstempels, hardwarebeslissingen krijgen de cijfers die ertoe leidden, en beleidswijzigingen krijgen de onderbouwing, zelfs als die onderbouwing ons traag doet lijken. Niets hier is geschreven door een marketingafdeling, en dat wordt binnen een alinea duidelijk.
Wat hierin terechtkomt
We schreven deze notities toch al. Iemand moet de volgende ingenieur uitleggen waarom de twee helften van een mirror uit verschillende leveringsdozen komen, en als dat eenmaal opgeschreven is, is er geen goed argument om het achter een inlog te houden.
Vijf categorieën. Productaankondigingen vermomd als inzicht horen daar niet bij.
Je zult hier geen tutorial vinden. Handleidingen horen in [de handleidingensectie](/guides) en referentiemateriaal hoort in [de kennisbank](/docs), en het mengen van de drie levert een blog op die niemand kan doorzoeken. De huidige staat van de vloot staat op [de statuspagina](/status), die wordt bijgewerkt zonder dat iemand er proza over schrijft.
Incident
Er ging iets kapot en klanten merkten het. Binnen tien werkdagen gepubliceerd, tijdstempels in UTC, oorzaak in de eerste alinea genoemd. Als de oorzaak bij ons lag, zegt het bericht dat voordat het iets anders zegt.
Hardware
Wat we kochten, wat we maten en wat we afwezen. Generatiemigraties, schijffamilies, en af en toe een regel die opzettelijk een generatie achterblijft omdat het nieuwere onderdeel niets toevoegt voor de workload.
Netwerk
Transit, peering, filtering, adressering. Dit is ook waar de cijfers die andere hosts vaag houden worden gepubliceerd, te beginnen met wat ongelimiteerd betekent voordat iemand je erover mailt.
Platform
Het paneel, de provisioningwachtrij, de API, nieuwe locaties. Capaciteitsnotities horen hier ook thuis, inclusief de onflatteuze notities die uitleggen waarom een bepaalde stad beperkt is in plaats van uitgebreid.
Beleid
Wijzigingen in wat we verkopen, wat we bewaren en wat we weigeren te doen. Het verwijderen van de goedkope laag is nog steeds het meest gelezen bericht op deze site, vijf jaar nadat het werd geschreven.
Hoe een incident wordt opgeschreven
Een huisstijl is geen esthetische keuze. Het voorkomt dat we stilletjes een slechte week reorganiseren tot een beter uitziend verhaal, omdat de sectie die zou moeten worden verwijderd opvalt door haar afwezigheid.
Zelfde vijf kopjes, zelfde volgorde, elke keer.
- 01
Samenvatting
Wat er kapot ging, hoe lang, en wie er getroffen was, in minder dan zestig woorden. Lees niets anders en je zou nog moeten weten of het jou raakte.
- 02
Tijdlijn
UTC-tijdstempels van het eerste symptoom tot volledig herstel, inclusief de minuten die werden besteed aan het zoeken op de verkeerde plek. Die minuten zijn meestal het interessante deel van het document.
- 03
Hoofdoorzaak
Het mechanisme, niet de categorie. Menselijke fout is geen hoofdoorzaak. Een classificatieregel die in 2023 is geschreven en waardoor een schemawijziging de canaryfase kon overslaan, is een hoofdoorzaak, en die heeft een eigenaar.
- 04
Wat we hebben gewijzigd
Concreet, gedateerd, controleerbaar. Elk item is iets dat een klant ons in een gesprek zou kunnen vragen te demonstreren, en dat is tweemaal gebeurd.
- 05
Wat we niet hebben gewijzigd, en waarom
De sectie die de meeste bedrijven weglaten. Soms kost de voor de hand liggende oplossing meer privacy dan de fout jou kostte, en we zouden daar liever in het openbaar over discussiëren dan het stilzwijgend op te lossen.
“Het is drie uur 's nachts hier en je statuspagina zegt dat de site prima is. De site is niet prima.”
Post-mortems worden gepubliceerd, zelfs als niemand erom vraagt en zelfs als de getroffen klant het nooit heeft gemerkt. Twee ervan beschrijven credits die we hebben betaald zonder dat de SLA ons daartoe verplichtte, wat het soort ding is dat je maar één keer opschrijft.
Het archief lezen
Zestien posts, zes en een half jaar, één opvallende leemte.
De leemte loopt van eind 2019 tot oktober 2020. We waren aan het racken, niet aan het schrijven, en het ding dat uiteindelijk een post opleverde was een aanval die Amsterdam elf minuten van het netwerk haalde. Dat is een veelvoorkomend patroon in dit vak: de documentatiegewoonte begint op de dag dat er iets duurs misgaat.
Oude posts worden nooit op hun plaats bewerkt. Waar een bewering onjuist bleek, wordt de correctie toegevoegd met een eigen datum en de oorspronkelijke zin blijft precies staan. Een post die stilletjes zichzelf verbetert in de loop van de tijd is niets waard voor de lezer.
| Periode | Wat we deden | Wat is opgeschreven |
|---|---|---|
| 2019 – 2020 | Vier locaties in acht weken gelanceerd, daarna zes meer in een pandemiejaar | Twee posts. Een oprichtingsnotitie en een verontschuldiging. |
| 2021 – 2022 | Goedkope laag verwijderd, IPv6 standaard, Zen 4 besteld, Reykjavík geopend | Vier posts, inclusief de post waar we het vaakst op worden geciteerd. |
| 2023 – 2024 | Canary, GPU's, Zen 5, en een batch drives die samen faalden | Vijf posts, waarvan één een verontschuldiging met een terugbetaling. |
| 2025 – 2026 | Provisioning herschreven, Zurich gerantsoeneerd, de API geopend, Johannesburg gerackt | Vijf posts en nog een post-mortem. |
Platform
05Netwerk
03Incident
03Hardware
03Beleid
02Vragen over het journaal zelf
Een Atom-feed, gelinkt onderaan deze pagina, zonder tracking pixel en zonder bijbehorende e-maillijst. Als je een nieuwsbrief wilt, moet je die ergens anders willen.
Nee. Alles hier is geschreven door iemand die opgeroepen kan worden, dat is het hele punt van het bestaan ervan.
Omdat ze verwijderen oneerlijk zou zijn. Correcties worden toegevoegd en gedateerd onder de originele tekst, zodat je zowel kunt zien wat we dachten als wanneer we daarmee stopten.
Ja, inclusief de delen die ons slecht doen lijken, en vooral die. Naamsvermelding en een link is genoeg; geen toestemming is vereist en er zal geen formelere toestemming worden gegeven dan deze zin.
Als er meer dan één klant getroffen was, staat het er al of wordt eraan gewerkt. Enkelvoudige instance-storingen worden beantwoord in het ticket, want een post-mortem over één dode schijf helpt niemand.
De hardware is interessanter dan het schrijven
Elke bewering in deze posts is testbaar op een server die je in minder dan een minuut kunt hebben. Kies een stad, kies een grootte, betaal in coin, en controleer de cijfers zelf.