무엇이 고장 났는지, 그리고 언제부터인지
상태 페이지는 온콜 엔지니어를 깨우는 것과 동일한 프로브에 의해 공급됩니다. 실패한 점검과 빨간 패널 사이에 편집 단계가 없으며, 이는 의도적이며 때때로 당혹스럽습니다.
90일 · 지연 시간 수치는 공급업체 브로셔가 아닌 자체 프로브의 측정된 중앙값입니다. 이동하며, 페이지는 그에 따라 업데이트됩니다.
저널
엔지니어링 일기. 장애는 실제 타임스탬프와 함께 사후 분석이 게시되고, 하드웨어 결정은 그 결정을 뒷받침한 수치와 함께 게시되며, 정책 변경은 그 이유가 우리를 느리게 보이게 하더라도 설명과 함께 게시됩니다. 여기에는 마케팅 부서가 작성한 글이 없으며, 한 문단만 읽어도 그 사실이 분명해집니다.
페이지가 표시하는 것
프로브는 우리 네트워크 외부에서 30초마다 실행됩니다. 이력은 90일 동안 유지됩니다.
사이트별, 단일 플릿 아님
34개 사이트 모두 별도로 표시됩니다. 한 도시의 문제가 다른 도시를 오염시키지 않습니다. 전체 가용성 수치가 당신이 이 페이지에 온 바로 그 중단을 숨기기 때문입니다.
사이트당 6개 구성 요소
네트워크, 하이퍼바이저, 스토리지, 프로비저닝, 패널, API가 각각 독립적으로 점검됩니다. 따라서 프로비저닝 대기열이 밀려도 실행 중인 인스턴스가 다운된 것은 아닙니다.
외부에서 측정
프로브는 우리가 운영하지 않는 네트워크, 여러 지역에 있으며, 점검은 여러 곳에서 실패해야 상태가 변경됩니다. 네트워크 내부에서 모니터링하는 것은 거의 측정하지 못합니다.
SLA와 동일한 가용성 수치
지난 12개월간 99.993%, 이 프로브로부터 계산되며 더 우호적인 정의가 아닙니다. 다운타임은 첫 실패 점검부터 계산되며, 누군가 인지한 시점이 아닙니다.
사후 보고서
P1 또는 P2로 분류된 모든 것은 5영업일 이내에 서면 후속 조치가 제공됩니다: 무엇이 고장났는지, 무엇이 처리되었는지, 이후 무엇이 변경되었는지. 의도적으로 지루하며 조용히 삭제되지 않습니다.
인시던트 분류 방법
4단계로, 온콜 엔지니어가 몇 분 안에 배정하며 상황이 변하면 주저 없이 상향 조정합니다. 보고서가 좋아 보이도록 이후에 등급을 낮추지 않습니다.
| 등급 | 의미 | 첫 업데이트 | 이후 |
|---|---|---|---|
| P1 | 고객 인스턴스가 다운되었거나 사이트에서 연결할 수 없거나, 둘 이상의 사이트에 영향을 미치는 장애. | 15분 이내 | 해결될 때까지 30분마다 |
| P2 | 심각한 성능 저하. 패킷 손실, 스토리지 지연 또는 인스턴스가 계속 서비스되는 동안 구성 요소가 다운됨. | 30분 이내 | 매시간 |
| P3 | 제어 플레인 장애. 프로비저닝, 패널, API 또는 청구가 불가능하지만 실행 중인 인스턴스는 영향을 받지 않음. | 2시간 이내 | 하루에 두 번 |
| P4 | 표면적 또는 단일 인스턴스 문제. 대기열 항목이 막힘, 잘못된 그래프, 핫 스페어가 이미 대체 중인 단일 노드 성능 저하. | 다음 영업일 | 해결 시 |
단일 고객 인스턴스 장애는 이 페이지에서 P4이며, 패널에서 중앙 응답 시간 11분의 티켓입니다. 등급은 폭발 반경을 설명하며, 당신에게 얼마나 중요한지가 아닙니다.
유지보수
계획된 유지보수는 최소 7일 전에 영향받는 계정의 이메일과 상태 페이지에 공지됩니다. 리셀러는 14일을 받습니다. 모든 공지에는 사이트, 시간대, 예상 영향 및 재부팅 여부가 명시됩니다.
시간대는 사이트 현지 시간으로 01:00~05:00이며, 29개국에 걸쳐 누군가는 항상 깨어 있는 상황에서 이는 유일한 합리적인 선택입니다. 대부분의 작업은 첫 1시간 안에 끝납니다.
워크로드를 라이브 마이그레이션할 수 있는 경우에는 마이그레이션되며, 표시되는 영향은 재시작이 아닌 몇 초의 추가 지연입니다. 펌웨어, 커널 및 하이퍼바이저 작업은 그렇게 할 수 없으며, 공지에는 “잠깐”이라는 단어 뒤에 재부팅을 숨기는 대신 그 사실을 명확히 밝힙니다.
긴급 유지보수
결정되는 즉시 공지되며, 때로는 1시간 미만의 사전 통지가 제공됩니다. 활발한 악용 중인 보안 패치 또는 어차피 실패할 하드웨어를 위해 예약됩니다.
연기
분기당 인스턴스당 1회, 티켓으로 최대 14일 연기할 수 있습니다. 그 이후에는 노드를 처리해야 하며, 날짜를 다시 옮기는 대신 날짜에 맞춰 계획을 세울 수 있도록 도와드립니다.
어떤 일이 창에서 절대 일어나지 않는가
가격 변경, 정책 변경, 그리고 데이터에 영향을 미치는 모든 것. 유지보수는 우리가 운영하는 하드웨어와 소프트웨어를 다루며, 디스크의 내용물은 절대 다루지 않습니다.
통보받는 방법
구독할 수 있는 네 가지 방법. 어떤 것도 계정이 필요 없으며, 인시던트 외의 다른 용도로 사용되지 않습니다.
Atom 피드
모든 것에 대한 하나의 피드, 또는 사이트별 하나의 피드. 메일이 작동하지 않을 때에도 작동하는 옵션으로, 네트워크 인시던트 중에 바로 그 상황입니다.
사이트별 이메일
사용하는 도시에 주소를 구독하세요. 고객은 자신의 사이트에 자동으로 구독되며 끌 수 있지만, 우리는 끄지 않기를 권합니다.
웹훅
모든 상태 변경 시 서명된 POST 요청. 자체 도구로 인시던트를 라우팅하는 사람들을 위한 것입니다. API와 동일한 페이로드 형태로, 24시간 동안 백오프와 함께 재시도됩니다.
상태 API
현재 상태와 열린 인시던트를 JSON으로 반환하는 공개 읽기 전용 엔드포인트. 토큰이 필요 없고, 적절한 속도 제한이 있으며, 2024년 이후 변경되지 않았습니다.
이것이 주소의 전부입니다. 뉴스레터도, 제품 발표 메일도, 상태 구독이 조용히 등록시키는 마케팅 목록도 없습니다.
상태 관련 질문
개별 인스턴스가 아닌 사이트와 구성 요소를 추적하기 때문입니다. 하나의 노드나 인스턴스는 공개 인시던트가 아닌 티켓이며, 티켓이 해결 속도가 훨씬 빠릅니다.
의도적으로 감시하는 인프라가 아닌 별도의 사이트에 호스팅됩니다. 별도의 전송 경로를 사용하므로 네트워크 장애가 해당 장애를 설명하는 페이지를 중단시킬 수 없습니다.
공지된 창은 SLA 수치에 포함되지 않습니다. 그 외의 모든 중단은 포함되며, 우리 과실이든 다른 사람의 과실이든 포함됩니다.
페이지 자체에는 90일, P1 및 P2 보고서는 무기한 보관됩니다. 오래된 인시던트는 더 이상 칭찬할 만하지 않아도 제거되지 않습니다.
각 사이트 페이지에는 네 개의 기준 허브에서의 프로브 왕복 시간이 연속적으로 업데이트되어 표시됩니다. 위치 페이지에 인쇄된 수치는 동일한 데이터의 중앙값입니다.
필요해지기 전에 구독하세요
피드와 사이트별 메일은 주소 하나와 약 10초면 충분합니다. 인시던트 중에 하는 것도 가능하지만 훨씬 덜 pleasant합니다.