Журнал
Инженерный дневник. По инцидентам — разбор с реальными отметками времени, по решениям о железе — цифры, которые на них повлияли, по изменениям политик — объяснение причин, даже если из-за этого мы выглядим медлительными. Здесь нет ни одной строчки от маркетинга, что становится очевидно в течение пары абзацев.
Что сюда попадает
Мы всё равно ведём эти записи. Кто-то должен объяснить следующему инженеру, почему две половины зеркала пришли из разных партий поставки, и когда это записано, нет причин прятать это за логином.
Пять категорий. Анонсы продуктов под видом аналитики в них не входят.
Здесь вы не найдёте инструкций. Инструкции — в [разделе руководств](/guides), справочная информация — в [базе знаний](/docs), и смешивание трёх жанров даёт блог, который невозможно искать. Текущее состояние парка — на [странице статуса](/status), которая обновляется без пояснительных текстов.
Инцидент
Что-то сломалось, и клиенты заметили. Публикуется в течение десяти рабочих дней, время в UTC, причина названа в первом абзаце. Если причина были мы, пост говорит об этом до всего остального.
Оборудование
Что мы купили, что измерили и от чего отказались. Смены поколений, семейства дисков и изредка строки о том, что мы сознательно остаёмся на поколение позади, потому что новее не улучшает показатели.
Сеть
Транзит, пиринг, фильтрация, адресация. Здесь же публикуются цифры, которые другие хостеры стараются не раскрывать, начиная с того, что значит «безлимитный», до того как вам об этом напишут.
Платформа
Панель, очередь выделения ресурсов, API, новые площадки. Здесь же заметки о ёмкости, включая невзрачные объяснения, почему в каком-то городе ресурсы нормированы, а не расширены.
Политика
Изменения в том, что мы продаём, что храним и от чего отказываемся делать. Удаление дешёвого тарифа до сих пор остаётся самым читаемым постом на этом сайте, спустя пять лет после публикации.
Как пишутся инциденты
Единый стиль — не эстетический выбор. Это не даёт нам тихо переписать неудачную неделю в более благопристойную историю: раздел, который пришлось бы удалить, заметно отсутствует.
Одни и те же пять заголовков, один и тот же порядок, каждый раз.
- 01
Краткое описание
Что сломалось, как долго и кто пострадал, менее чем в шестидесяти словах. Даже если больше ничего не читать, должно быть ясно, касается ли вас проблема.
- 02
Хронология
Отметки времени UTC от первого симптома до полного восстановления, включая минуты, потраченные на поиски не там. Обычно именно эти минуты — самая интересная часть документа.
- 03
Корневая причина
Механизм, а не категория. Ошибка человека — не корневая причина. Правило классификации, написанное в 2023 году и позволившее изменению схемы обойти этап канареечного развёртывания, — вот корневая причина, и у неё есть владелец.
- 04
Что мы изменили
Конкретно, с указанием дат, проверяемо. Каждый пункт может быть продемонстрирован клиенту по звонку, и дважды так и было.
- 05
Что мы не изменили и почему
Раздел, который большинство компаний опускает. Иногда очевидное исправление стоит больше конфиденциальности, чем стоил сбой для вас, и мы предпочитаем спорить об этом публично, а не решать молча.
“Сейчас три часа ночи, и на вашей странице статуса написано, что сайт в порядке. Сайт не в порядке.”
Пост-мортемы публикуются, даже когда никто не спрашивал и даже когда пострадавший клиент ничего не заметил. Два из них описывают кредиты, которые мы выплатили, хотя SLA нас к этому не обязывал — это то, что записывают только один раз.
Чтение архива
Шестнадцать постов, шесть с половиной лет, один заметный пробел.
Пробел тянется с конца 2019 года до октября 2020-го. Мы монтировали стойки, а не писали, и наконец пост породила атака, которая на одиннадцать минут отключила Амстердам от сети. Это обычная закономерность в нашем деле: привычка документировать начинается в тот день, когда что-то дорогое ломается.
Старые посты никогда не редактируются задним числом. Если утверждение оказалось неверным, исправление добавляется с собственной датой, а исходное предложение остаётся ровно на своём месте. Пост, который незаметно сам себя улучшает со временем, ничего не стоит читающему.
| Период | Что мы делали | Что записано |
|---|---|---|
| 2019 – 2020 | Четыре площадки запущены за восемь недель, затем ещё шесть в пандемийный год | Два поста. Одна учредительная заметка и одно извинение. |
| 2021 – 2022 | Дешёвый тариф удалён, IPv6 по умолчанию, заказан Zen 4, открыт Рейкьявик | Четыре поста, включая тот, который чаще всего цитируют. |
| 2023 – 2024 | Canary, GPU, Zen 5 и партия дисков, которая отказала разом | Пять постов, один из них — извинение с возвратом денег. |
| 2025 – 2026 | Провижининг переписан, Цюрих нормирован, API открыт, Йоханнесбург смонтирован | Пять постов и ещё один пост-мортем. |
Платформа
05Сеть
03Инцидент
03Оборудование
03Политика
02Вопросы о самом журнале
Atom-лента, ссылка на неё внизу страницы, без пикселя отслеживания и без сопутствующего списка рассылки. Если вам нужна рассылка — вам придётся хотеть её где-нибудь в другом месте.
Нет. Всё здесь написано кем-то, кого можно вызвать по пейджеру, и в этом весь смысл существования журнала.
Потому что удалять их было бы нечестно. Исправления добавляются и датируются под исходным текстом, чтобы вы видели и что мы думали, и когда перестали так думать.
Да, включая части, которые выставляют нас в плохом свете, и особенно их. Достаточно указать авторство и дать ссылку; разрешение не требуется, и никакого более формального разрешения, чем это предложение, выдано не будет.
Если пострадало более одного клиента, он уже здесь или готовится к публикации. Сбои на одном инстансе разбираются в тикете, потому что пост-мортем об одном умершем диске никому не помогает.
Железо интереснее, чем тексты
Каждое утверждение в этих постах можно проверить на сервере, который у вас будет меньше чем за минуту. Выберите город, выберите размер, заплатите монетой и проверьте цифры сами.