Journal
Un diario di ingegneria. Gli incidenti ottengono un post-mortem con timestamp reali, le decisioni hardware ottengono i numeri che le hanno giustificate, e i cambi di policy ottengono le motivazioni anche quando quelle motivazioni ci fanno sembrare lenti. Nulla di tutto ciò è stato scritto da un dipartimento marketing, cosa che diventa evidente entro un paragrafo.
Cosa finisce qui dentro
Scrivevamo queste note comunque. Qualcuno deve spiegare al prossimo ingegnere perché le due metà di un mirror provengono da scatole di consegna diverse, e una volta scritto non c'è una buona ragione per tenerlo dietro un login.
Cinque categorie. Gli annunci di prodotto travestiti da approfondimenti non sono una di queste.
Qui non troverai tutorial. Le guide appartengono alla [sezione guide](/guides) e il materiale di riferimento alla [knowledge base](/docs), e mescolare le tre cose produce un blog che nessuno riesce a cercare. Lo stato attuale della flotta è sulla [pagina di stato](/status), che si aggiorna senza che nessuno scriva prosa a riguardo.
Incidenti
Qualcosa si è rotto e i clienti se ne sono accorti. Pubblicato entro dieci giorni lavorativi, timestamp in UTC, causa indicata nel primo paragrafo. Quando la causa eravamo noi, il post lo dice prima di qualsiasi altra cosa.
Hardware
Cosa abbiamo comprato, cosa abbiamo misurato e cosa abbiamo rifiutato. Migrazioni di generazione, famiglie di drive e l'occasionale linea che resta indietro di una generazione di proposito perché la parte più nuova non aiuta il carico di lavoro.
Rete
Transito, peering, filtraggio, indirizzamento. Qui vengono anche stampati i numeri che altri host tengono vaghi, a partire da cosa significa "illimitato" prima che qualcuno ti scriva in merito.
Piattaforma
Il pannello, la coda di provisioning, l'API, i nuovi siti. Anche le note di capacità finiscono qui, incluse quelle poco glamour che spiegano perché una determinata città è razionata piuttosto che ampliata.
Policy
Cambiamenti a ciò che vendiamo, ciò che conserviamo e ciò che ci rifiutiamo di fare. Eliminare il livello economico è ancora il post più letto di questo sito, cinque anni dopo che è stato scritto.
Come viene scritto un incidente
Uno stile editoriale non è una scelta estetica. Ci impedisce di riorganizzare silenziosamente una brutta settimana in una storia più presentabile, perché la sezione che dovrebbe essere eliminata è evidente per la sua assenza.
Stesse cinque sezioni, stesso ordine, ogni volta.
- 01
Sommario
Cosa si è rotto, per quanto tempo e chi è stato colpito, in meno di sessanta parole. Non leggi altro e dovresti comunque sapere se ti ha toccato.
- 02
Cronologia
Timestamp UTC dal primo sintomo al completo ripristino, inclusi i minuti passati a cercare nel posto sbagliato. Quei minuti di solito sono la parte interessante del documento.
- 03
Causa principale
Il meccanismo, non la categoria. L'errore umano non è una causa principale. Una regola di classificazione scritta nel 2023 che ha permesso a una modifica dello schema di saltare la fase canary è una causa principale, e ha un proprietario.
- 04
Cosa abbiamo cambiato
Concreto, datato, verificabile. Ogni punto è qualcosa che un cliente potrebbe chiederci di dimostrare in una chiamata, e due volte qualcuno l'ha fatto.
- 05
Cosa non abbiamo cambiato, e perché
La sezione che la maggior parte delle aziende tralascia. A volte la soluzione ovvia costa più privacy del guasto che ti ha colpito, e preferiamo discuterne in pubblico piuttosto che sistemarlo in silenzio.
“Qui sono le tre di notte e la vostra pagina di stato dice che il sito è a posto. Il sito non è a posto.”
I post-mortem vengono pubblicati anche quando nessuno li ha chiesti e anche quando il cliente interessato non se n'è mai accorto. Due di essi descrivono crediti che abbiamo pagato senza che lo SLA ci obbligasse, il che è il tipo di cosa che scrivi solo una volta.
Lettura dell'archivio
Sedici post, sei anni e mezzo, un divario evidente.
Il divario va dalla fine del 2019 all'ottobre 2020. Stavamo montando rack, non scrivendo, e la cosa che alla fine ha prodotto un post è stato un attacco che ha tolto Amsterdam dalla rete per undici minuti. Questo è un modello comune in questo mestiere: l'abitudine alla documentazione inizia il giorno in cui qualcosa di costoso va storto.
I post vecchi non vengono mai modificati sul posto. Quando un'affermazione si rivela errata, la correzione viene aggiunta con la propria data e la frase originale rimane esattamente dov'era. Un post che si migliora silenziosamente nel tempo non vale nulla per chi lo legge.
| Periodo | Cosa stavamo facendo | Cosa è documentato |
|---|---|---|
| 2019 – 2020 | Quattro siti accesi in otto settimane, poi altri sei in un anno di pandemia | Due post. Una nota di fondazione e una scusa. |
| 2021 – 2022 | Livello economico eliminato, IPv6 predefinito, Zen 4 ordinato, Reykjavík aperto | Quattro post, incluso quello per cui siamo più citati. |
| 2023 – 2024 | Canary, GPU, Zen 5 e un lotto di drive che si è guastato insieme | Cinque post, uno dei quali è una scusa con rimborso allegato. |
| 2025 – 2026 | Provisioning riscritto, Zurigo razionata, API aperta, Johannesburg montata su rack | Cinque post e un altro post-mortem. |
Piattaforma
05Rete
03Incidenti
03Hardware
03Policy
02Domande sul giornale stesso
Un feed Atom, linkato a piè di pagina, senza pixel di tracciamento e senza lista email associata. Se vuoi una newsletter, dovrai volerla altrove.
No. Tutto qui è stato scritto da qualcuno che può essere contattato in caso di emergenza, che è il punto centrale della sua esistenza.
Perché cancellarle sarebbe disonesto. Le correzioni vengono aggiunte e datate sotto il testo originale, così puoi vedere sia cosa pensavamo sia quando abbiamo smesso di pensarlo.
Sì, incluse le parti che ci fanno apparire male, e soprattutto quelle. Attribuzione e link sono sufficienti; non è richiesto alcun permesso e nessuno sarà concesso in modo più formale di questa frase.
Se è stato coinvolto più di un cliente, è già qui o è in fase di redazione. I guasti di singole istanze vengono gestiti nel ticket, perché un post-mortem su un singolo drive morto non aiuta nessuno.
L'hardware è più interessante della scrittura
Ogni affermazione in questi post è verificabile su un server che puoi avere in meno di un minuto. Scegli una città, scegli una dimensione, paga in criptovaluta e controlla tu stesso i numeri.