Nhật ký
Một cuốn nhật ký kỹ thuật. Sự cố có bài viết hậu kiểm với mốc thời gian thực, quyết định phần cứng có số liệu làm cơ sở, và thay đổi chính sách có lý do ngay cả khi lý do làm chúng tôi trông chậm chạp. Không có gì ở đây do bộ phận marketing viết, điều đó trở nên rõ ràng ngay trong một đoạn văn.
Nội dung xuất hiện ở đây
Chúng tôi vẫn viết những ghi chú này. Ai đó phải giải thích cho kỹ sư tiếp theo tại sao hai nửa của một bản sao lại đến từ các hộp giao hàng khác nhau, và khi đã viết ra thì không có lý do chính đáng nào để giữ nó sau màn đăng nhập.
Năm hạng mục. Thông báo sản phẩm được ngụy trang thành insight không nằm trong đó.
Bạn sẽ không tìm thấy hướng dẫn ở đây. Hướng dẫn thuộc về [phần hướng dẫn](/guides) và tài liệu tham khảo thuộc về [cơ sở kiến thức](/docs), và trộn lẫn ba thứ đó tạo ra một blog không ai tìm kiếm nổi. Trạng thái hiện tại của hạ tầng nằm trên [trang trạng thái](/status), trang này cập nhật mà không cần ai viết văn xuôi về nó.
Sự cố
Một thứ gì đó hỏng và khách hàng nhận thấy. Được xuất bản trong vòng mười ngày làm việc, mốc thời gian theo UTC, nguyên nhân được nêu trong đoạn đầu tiên. Khi nguyên nhân là chúng tôi, bài viết nói điều đó trước khi nói bất cứ điều gì khác.
Phần cứng
Những gì chúng tôi đã mua, những gì chúng tôi đã đo, và những gì chúng tôi đã từ chối. Di chuyển thế hệ, dòng ổ đĩa, và thỉnh thoảng là một dòng cố ý ở lại sau một thế hệ vì linh kiện mới không giúp ích cho khối lượng công việc.
Mạng
Transit, peering, lọc, định địa chỉ. Đây cũng là nơi các con số mà các nhà cung cấp khác giữ mơ hồ được công bố, bắt đầu với việc “không giới hạn băng thông” thực sự nghĩa là gì trước khi ai đó gửi email hỏi bạn về nó.
Nền tảng
Bảng điều khiển, hàng đợi cấp phát, API, các site mới. Ghi chú công suất cũng nằm ở đây, bao gồm cả những ghi chú kém hấp dẫn giải thích tại sao một thành phố cụ thể được phân bổ hạn chế thay vì mở rộng.
Chính sách
Thay đổi về những gì chúng tôi bán, những gì chúng tôi giữ, và những gì chúng tôi từ chối làm. Việc xóa gói giá rẻ vẫn là bài viết được đọc nhiều nhất trên trang này, năm năm sau khi nó được viết.
Cách một sự cố được viết lại
Phong cách nội bộ không phải là lựa chọn thẩm mỹ. Nó ngăn chúng tôi âm thầm sắp xếp lại một tuần tồi tệ thành một câu chuyện đẹp hơn, vì phần lẽ ra phải bị xóa sẽ nổi bật bởi sự vắng mặt của nó.
Năm tiêu đề giống nhau, cùng thứ tự, mỗi lần.
- 01
Tóm tắt
Điều gì đã hỏng, trong bao lâu, và ai bị ảnh hưởng, trong vòng chưa đầy sáu mươi từ. Nếu không đọc gì khác, bạn vẫn biết liệu nó có ảnh hưởng đến bạn hay không.
- 02
Mốc thời gian
Mốc thời gian UTC từ triệu chứng đầu tiên đến khi hồi phục hoàn toàn, bao gồm cả những phút chúng tôi tìm kiếm ở nơi sai. Những phút đó thường là phần thú vị nhất của tài liệu.
- 03
Nguyên nhân gốc
Cơ chế, không phải danh mục. Lỗi con người không phải là nguyên nhân gốc. Một quy tắc phân loại được viết năm 2023 cho phép thay đổi schema bỏ qua giai đoạn canary là nguyên nhân gốc, và nó có người chịu trách nhiệm.
- 04
Những gì chúng tôi đã thay đổi
Cụ thể, có ngày tháng, có thể kiểm tra. Mỗi mục là thứ khách hàng có thể yêu cầu chúng tôi chứng minh trong một cuộc gọi, và đã có hai lần như vậy.
- 05
Những gì chúng tôi không thay đổi, và tại sao
Phần mà hầu hết các công ty bỏ qua. Đôi khi sửa chữa hiển nhiên tốn nhiều quyền riêng tư hơn lỗi gây ra cho bạn, và chúng tôi thà tranh luận về điều đó công khai còn hơn giải quyết một cách lặng lẽ.
“Bây giờ là ba giờ sáng ở đây và trang trạng thái của bạn nói rằng trang web vẫn ổn. Trang web không ổn.”
Các bài post-mortem được công bố ngay cả khi không ai yêu cầu và ngay cả khi khách hàng bị ảnh hưởng không bao giờ nhận ra. Hai trong số đó mô tả các khoản tín dụng chúng tôi đã trả mà SLA không bắt buộc phải trả, đó là kiểu điều bạn chỉ viết ra một lần.
Đọc kho lưu trữ
Mười sáu bài viết, sáu năm rưỡi, một khoảng trống dễ thấy.
Khoảng trống kéo dài từ cuối năm 2019 đến tháng 10 năm 2020. Chúng tôi đang rack máy, không viết lách, và thứ cuối cùng tạo ra một bài viết là một cuộc tấn công đã đưa Amsterdam ra khỏi mạng trong mười một phút. Đó là một mô hình phổ biến trong nghề này: thói quen ghi chép bắt đầu từ ngày một thứ gì đó đắt tiền bị trục trặc.
Các bài viết cũ không bao giờ được chỉnh sửa tại chỗ. Nếu một tuyên bố hóa ra sai, phần sửa chữa được thêm vào kèm theo ngày tháng riêng và câu gốc vẫn ở nguyên vị trí. Một bài viết âm thầm tự cải thiện theo thời gian không có giá trị gì với người đọc.
| Giai đoạn | Chúng tôi đã làm gì | Những gì được ghi lại |
|---|---|---|
| 2019 – 2020 | Bốn trang web bật sáng trong tám tuần, sau đó thêm sáu trang nữa trong một năm đại dịch | Hai bài viết. Một bài ghi chú sáng lập và một bài xin lỗi. |
| 2021 – 2022 | Tier rẻ bị xóa, IPv6 mặc định, Zen 4 đã đặt, Reykjavík mở | Bốn bài, bao gồm bài được trích dẫn nhiều nhất. |
| 2023 – 2024 | Canary, GPU, Zen 5, và một lô ổ cứng lỗi cùng nhau | Năm bài, một trong số đó là lời xin lỗi kèm hoàn tiền. |
| 2025 – 2026 | Provisioning được viết lại, Zurich bị hạn chế, API được mở, Johannesburg được rack | Năm bài và thêm một bài post-mortem. |
Nền tảng
05Mạng
03Sự cố
03Phần cứng
03Chính sách
02Câu hỏi về chính trang journal
Một feed Atom, được liên kết ở chân trang này, không có pixel theo dõi và không kèm danh sách email. Nếu bạn muốn newsletter, bạn sẽ phải muốn ở nơi khác.
Không. Mọi thứ ở đây được viết bởi người có thể bị gọi khẩn cấp, đó là toàn bộ lý do nó tồn tại.
Vì xóa chúng sẽ là không trung thực. Các sửa chữa được thêm vào và ghi ngày bên dưới văn bản gốc, để bạn có thể thấy cả những gì chúng tôi nghĩ và thời điểm chúng tôi ngừng nghĩ như vậy.
Có, kể cả những phần khiến chúng tôi trông xấu, và đặc biệt là những phần đó. Ghi nguồn và liên kết là đủ; không cần xin phép và sẽ không có sự cho phép nào trang trọng hơn câu này.
Nếu nhiều hơn một khách hàng bị ảnh hưởng, thì nó đã ở đây hoặc đang được soạn thảo. Lỗi trên một instance đơn lẻ được trả lời trong ticket, vì một post-mortem về một ổ cứng chết đơn lẻ không giúp ích gì cho ai cả.
Phần cứng thú vị hơn việc viết lách
Mọi tuyên bố trong các bài viết này đều có thể kiểm chứng trên một máy chủ bạn có thể có trong vòng chưa đầy một phút. Chọn một thành phố, chọn một kích thước, trả bằng coin, và tự mình kiểm tra số liệu.