Diario
Un diario de ingeniería. Los incidentes reciben un análisis post-mortem con marcas de tiempo reales, las decisiones de hardware reciben los números que las motivaron, y los cambios de política reciben el razonamiento incluso cuando el razonamiento nos hace parecer lentos. Nada de esto fue escrito por un departamento de marketing, lo que se hace evidente en un párrafo.
Qué acaba aquí
Ya escribíamos estas notas de todos modos. Alguien tiene que explicar al próximo ingeniero por qué las dos mitades de un espejo provienen de cajas de entrega diferentes, y una vez que eso está por escrito, no hay un buen argumento para mantenerlo detrás de un inicio de sesión.
Cinco categorías. Los anuncios de producto disfrazados de información no son una de ellas.
No encontrarás un tutorial aquí. Las guías pertenecen a [la sección de guías](/guides) y el material de referencia a [la base de conocimiento](/docs), y mezclar las tres produce un blog que nadie puede buscar. El estado actual de la flota está en [la página de estado](/status), que se actualiza sin que nadie escriba prosa al respecto.
Incidente
Algo se rompió y los clientes lo notaron. Publicado en el plazo de diez días laborables, marcas de tiempo en UTC, causa nombrada en el primer párrafo. Cuando la causa fuimos nosotros, el post lo dice antes de cualquier otra cosa.
Hardware
Lo que compramos, lo que medimos y lo que rechazamos. Migraciones de generación, familias de unidades, y la línea ocasional que se queda una generación atrás a propósito porque la pieza más nueva no ayuda en la carga de trabajo.
Red
Tránsito, peering, filtrado, direccionamiento. Aquí es también donde se publican los números que otros hosts mantienen vagos, empezando por lo que significa sin medir antes de que alguien te envíe un correo al respecto.
Plataforma
El panel, la cola de aprovisionamiento, la API, nuevos sitios. Las notas de capacidad también viven aquí, incluyendo las poco glamurosas que explican por qué una ciudad concreta está racionada en lugar de ampliada.
Política
Cambios en lo que vendemos, lo que conservamos y lo que nos negamos a hacer. Eliminar el nivel barato sigue siendo el post más leído de este sitio, cinco años después de escribirse.
Cómo se escribe un incidente
Un estilo de casa no es una elección estética. Nos evita reorganizar tranquilamente una mala semana para convertirla en una historia con mejor aspecto, porque la sección que tendría que ser eliminada se nota por su ausencia.
Mismos cinco encabezados, mismo orden, cada vez.
- 01
Resumen
Qué se rompió, durante cuánto tiempo, y a quién afectó, en menos de sesenta palabras. Si no lees nada más, deberías saber si te afectó a ti.
- 02
Cronología
Marcas de tiempo en UTC desde el primer síntoma hasta la recuperación completa, incluyendo los minutos dedicados a buscar en el lugar equivocado. Esos minutos suelen ser la parte interesante del documento.
- 03
Causa raíz
El mecanismo, no la categoría. El error humano no es una causa raíz. Una regla de clasificación escrita en 2023 que permitió que un cambio de esquema omitiera la etapa canario es una causa raíz, y tiene un propietario.
- 04
Lo que cambiamos
Concreto, con fecha, comprobable. Cada elemento es algo que un cliente podría pedirnos que demostremos en una llamada, y dos veces alguien lo ha hecho.
- 05
Lo que no cambiamos, y por qué
La sección que la mayoría de las empresas omiten. A veces la solución obvia cuesta más privacidad de la que el fallo te costó a ti, y preferimos discutirlo en público que resolverlo en silencio.
“Son las tres de la madrugada aquí y tu página de estado dice que el sitio está bien. El sitio no está bien.”
Los post-mortems se publican incluso cuando nadie los ha pedido y aunque el cliente afectado nunca se haya dado cuenta. Dos de ellos describen créditos que pagamos sin que el SLA nos obligara a ello, que es algo que solo escribes una vez.
Leyendo el archivo
Dieciséis publicaciones, seis años y medio, un hueco conspicuo.
El hueco va desde finales de 2019 hasta octubre de 2020. Estábamos montando bastidores, no escribiendo, y lo que finalmente produjo una publicación fue un ataque que sacó de la red a Ámsterdam durante once minutos. Ese es un patrón común en este oficio: el hábito de documentar empieza el día en que algo caro sale mal.
Las publicaciones antiguas nunca se editan en su lugar. Cuando una afirmación resulta ser incorrecta, la corrección se añade con su propia fecha y la frase original se queda exactamente donde estaba. Una publicación que se mejora silenciosamente con el tiempo no vale nada para quien la lee.
| Período | Qué estábamos haciendo | Qué está escrito |
|---|---|---|
| 2019 – 2020 | Cuatro sitios encendidos en ocho semanas, luego seis más en un año de pandemia | Dos publicaciones. Una nota de fundación y una disculpa. |
| 2021 – 2022 | Tier barato eliminado, IPv6 por defecto, Zen 4 pedido, Reykjavík abierto | Cuatro publicaciones, incluida una de las que más nos citan. |
| 2023 – 2024 | Canary, GPUs, Zen 5 y un lote de discos que falló al unísono | Cinco publicaciones, una de ellas una disculpa con reembolso incluido. |
| 2025 – 2026 | Aprovisionamiento reescrito, Zúrich racionada, API abierta, Johannesburgo en bastidor | Cinco publicaciones y un post-mortem más. |
Plataforma
05Red
03Incidente
03Hardware
03Política
02Preguntas sobre el propio diario
Una fuente Atom, enlazada al pie de esta página, sin píxel de seguimiento y sin lista de correo adjunta. Si quieres un boletín, tendrás que quererlo en otro sitio.
No. Todo lo que hay aquí lo ha escrito alguien a quien se puede localizar (paging), que es el motivo de que exista.
Porque eliminarlas sería mentir. Las correcciones se añaden y se fechan debajo del texto original, para que se pueda ver tanto lo que pensábamos como cuándo dejamos de pensarlo.
Sí, incluidas las partes que nos hacen quedar mal, y especialmente esas. Atribución y un enlace es suficiente; no se requiere permiso y no se concederá ninguno de manera más formal que esta frase.
Si se vio afectado más de un cliente, ya está aquí o se está redactando. Los fallos de una sola instancia se responden en el ticket, porque un post-mortem sobre un disco muerto no ayuda a nadie.
El hardware es más interesante que la escritura
Cada afirmación de estas publicaciones se puede comprobar en un servidor que puedes tener en menos de un minuto. Elige una ciudad, elige un tamaño, paga en criptomonedas y verifica los números tú mismo.