랙에 실제로 무엇이 있는가
두 개의 CPU 세대, 그 외에는 없습니다. 해당 라인에서 오류를 자체 수정하는 메모리, 유휴 상태로 대기 중인 예비 드라이브와 함께 미러링된 엔터프라이즈 NVMe, 그리고 노드가 고객을 만나기 전 3일간의 번인.
두 세대, 그리고 그 이상 오래된 것은 없습니다
대부분의 호스트는 3~4세대를 동시에 운영하면서 같은 가격에 판매합니다. 그래서 동일한 사양의 두 서버가 동일한 워크로드에서 40% 차이를 보일 수 있습니다. 대신 우리는 장비 구성을 좁게 유지합니다.
프로덕션에서 현재 세대보다 한 세대 이상 오래된 것은 없습니다. 이 규칙은 2022년부터 유지되었습니다.
Ryzen 9 9950X, Zen 5
16코어, 32스레드, 5.7GHz까지 부스트됩니다. 이것은 우리가 구매할 수 있는 가장 빠른 단일 스레드이며, 단일 스레드 속도는 여전히 대부분의 실제 애플리케이션에서 요청이 얼마나 빨리 완료되는지를 결정합니다.
EPYC 9354P, Zen 4
단일 소켓에 32코어와 64스레드, 12개 메모리 채널, 레지스터드 ECC. 코어 수, 메모리 용량 및 예측 가능한 NUMA 동작이 최고 클럭보다 더 중요할 때, 이 부품이 승리합니다.
가능하면 단일 소켓
소켓 간 메모리 액세스는 튜닝으로 해결할 수 없는 지연 시간 절벽입니다. 가장 큰 베어메탈 구성만 듀얼 소켓이며, 고객이 64코어를 명시적으로 요청했기 때문에 듀얼 소켓입니다.
코어는 한 번 할당됩니다
당신에게 판매된 코어는 당신을 위해 스케줄링됩니다. 버스트 크레딧, 초과 할당 비율, 부하 시 나타났다가 스크린샷을 찍기 전에 사라지는 스틸 타임이 없습니다.
최신 서버 실리콘이 아닌 이유
Zen 5 서버 부품은 실험실에 있고 서버 구성에는 없습니다. 9354P를 대체할 때 변경 로그에 마이그레이션 날짜와 함께 나타날 것이며, 누구나 구매할 수 있기 6개월 전에 첫 페이지에 문구로 등장하지 않습니다.
메모리, 그리고 ECC가 실제로 존재하는 위치
메모리 오류는 드물지 않습니다. 중요한 것이 미묘하게 잘못될 때까지 보이지 않을 뿐입니다. 서버 라인에서는 모든 오류가 수정되고 기록됩니다.
EPYC 노드는 채널당 하나씩, 모두 채워진 12개의 DDR5-4800 레지스터드 ECC 모듈을 갖습니다. 모든 채널을 채우는 것은 용량 때문이 아니라 대역폭 때문입니다. 32코어 부품에서 절반만 채워진 메모리 버스는 RAM을 빠르게 처리하는 모든 작업에서 느껴질 병목 현상입니다.
Ryzen 노드는 ECC 없이 DDR5-5600을 실행합니다. 소비자 플랫폼은 우리가 신뢰할 수 있는 형태로 ECC를 제공하지 않기 때문입니다. 이것은 숨기지 않고 여기에 명확히 명시되어 있습니다. 워크로드에 오류 수정이 필요하다면 EPYC 라인은 89유로부터 시작하며 정확히 그 이유로 존재합니다.
정정 가능한 오류가 계산됩니다
하루에 소수의 수정보다 많이 발생하는 랭크는 플래그되고, 모듈이 문제를 일으키지 않았더라도 다음 유지보수 시간에 교체됩니다.
정정 불가능한 오류는 노드를 비웁니다
인스턴스가 마이그레이션되고, 노드는 풀에서 제외되며, DIMM이 교체된 후에 다시 들어옵니다. 라이브 마이그레이션을 볼 수 있습니다. 충돌은 보지 말아야 합니다.
벌루닝 없음, 페이지 병합 없음
메모리는 한 번 할당되고 두 번 계산되지 않습니다. 동일 페이지 병합은 전체 서버 구성에서 꺼져 있습니다. 테넌트 간 사이드 채널이자 실제 부하에서 사라지는 성능 주장이기 때문입니다.
노드당 용량은 의도적으로 넉넉합니다
EPYC 노드는 호스팅하는 가장 큰 플랜이 그래도 여유가 남을 만큼 충분한 메모리를 갖추고 배송됩니다. 마지막 기가바이트까지 꽉 찬 노드는 이웃이 이동해야 할 때 마이그레이션을 받을 곳이 없습니다.
NVMe, 내구성, 그리고 아무 일도 하지 않는 예비
모든 드라이브는 전원 손실 보호 기능이 있는 엔터프라이즈 Gen4 부품으로, 플러시 중에 전원이 꺼지면 확인된 쓰기를 마저 완료하는 커패시터 뱅크입니다.
노드당 핫 스페어 하나, 유휴 상태로 대기. 이 건물에서 가장 저렴한 보험입니다.
항상 미러링된 페어
읽기는 양쪽에 분산되고, 쓰기는 보호된 캐시에서 확인된 후 양쪽에 기록됩니다. 단일 드라이브 장애는 성능 프로필을 약간만 바꾸고 가용성은 전혀 바꾸지 않습니다.
노드당 핫 스페어
노드당 드라이브 하나는 유휴 상태로 비어 있습니다. 미러가 절반을 잃으면 예비 드라이브가 자동으로 인계받고, 누군가 알림을 읽기 전에 재구축이 시작됩니다.
내구성 한계가 아닌 내구성 여유
일반 노드는 1 DWPD 등급 드라이브를 사용하고, 스토리지 노드는 쓰기 계층에 3 DWPD를 사용합니다. 드라이브는 정격 내구성의 80%에서 교체되며, 사양서에 적힌 수치까지는 사용하지 않습니다.
어디에도 컨슈머 드라이브 없음
캐시 계층에도, 대용량 계층에도, 2021년에 누군가 급하게 만들고 잊어버린 노드에도 없습니다. 컨슈머 NVMe는 11초 동안은 빠르고 그 후에는 그렇지 않습니다. 노트북에서는 괜찮은 거래입니다.
용량은 약속이 아니라 할당
스토리지는 테넌트 간에 씬 프로비저닝되지 않습니다. 요금제에 800 GB라고 되어 있으면 그 노드에 800 GB가 실제로 존재하며 여러분 이름이 붙어 있고, 다른 누구도 그 공간을 사용할 수 없습니다.
각 노드 클래스에 포함된 것
5개의 노드 클래스가 5개의 제품 라인을 담당합니다. S 클래스의 대용량 스토리지는 NVMe 쓰기 계층 뒤의 엔터프라이즈 SATA이며, 이것이 전체 인프라에서 유일한 회전 디스크입니다.
| 클래스 | CPU | 메모리 | NVMe | 네트워크 | 전원 |
|---|---|---|---|---|---|
| R — Ryzen NVMe | Ryzen 9 9950X, 16C/32T | 128 GB DDR5-5600 | 2 × 3.84 TB 미러, 예비 1 | 2 × 10 GbE, LACP | 2 × 800 W, A 및 B |
| E — EPYC High-Memory | EPYC 9354P, 32C/64T | 12 × DDR5-4800 ECC RDIMM | 4 × 3.84 TB 미러, 예비 1 | 2 × 25 GbE, LACP | 2 × 1200 W, A 및 B |
| G — GPU | EPYC 9354P, 32C/64T | 256 GB ECC DDR5-4800 | 4 × 3.84 TB 미러, 예비 1 | 2 × 40 GbE, LACP | 2 × 2000 W, A 및 B |
| S — Storage | EPYC 9354P, 32C/64T | 128 GB ECC DDR5-4800 | 2 × 3.84 TB 쓰기 계층, 뒤에 SATA 대용량 | 2 × 25 GbE, LACP | 2 × 1200 W, A 및 B |
| BM — Bare Metal | Ryzen 9950X 또는 EPYC 9354P 1~2개 | 128 GB ~ 1 TB | 최대 8 × 7.68 TB | 10 ~ 40 GbE | 2 × 1200 W, A 및 B |
GPU 노드는 PCIe 4.0 x16에서 시간 분할 없이 전체 물리 카드를 통과시킵니다. 그래서 전력 수치가 이렇습니다. 한 인스턴스의 두 카드는 동일한 NUMA 노드에 있습니다. 소켓 간 분할은 두 번째 카드가 주는 이득보다 비용이 더 들기 때문입니다.
전원 공급과 인터넷에 연결되지 않은 관리 네트워크
두 배로 할 수 있는 모든 것을 두 배로, 그리고 외부 세계로의 경로가 한 번도 없었던 관리 네트워크.
A 및 B 피드, 분리된 경로
노드당 두 개의 전원 공급 장치가 독립적인 배전에 연결되며, 각각은 단독으로 전체 머신을 감당할 수 있는 크기입니다. 피드 손실은 기록되는 이벤트일 뿐이며, 모든 노드에서 번인 중에 이를 입증합니다.
배터리, 그 다음 발전기
배터리는 전환을 담당하고 발전기는 나머지를 담당합니다. 전환은 모든 사이트에서 정기적으로 테스트되며, 테스트에 실패한 사이트는 통과할 때까지 새 노드를 받지 못합니다.
계층 등급 숫자는 인용하지 않습니다.
등급은 건물과 이를 위탁한 운영업체에 속하는 것이지, 마케팅 문구에서 숫자를 반복하는 테넌트에게 속하는 것이 아닙니다. 각 사이트별로 알려드리는 것은 피드 토폴로지와 마지막 전송 테스트 결과입니다.
자체 VLAN의 대역 외 관리
관리 인터페이스는 공용 경로가 없으며, 한 번도 가진 적이 없습니다. 액세스는 인증된 터널을 통해 이루어지고, 기록되며, 당사와 고객 모두에게 제공됩니다.
콘솔 포함, 무료 제공
그 터널을 통해 인스턴스에 직렬 및 VNC로 접근할 수 있습니다. 네트워크 구성이 작동하지 않을 때, 즉 누구나 그것을 원하는 유일한 순간에 작동합니다.
베어메탈은 IPMI 제공, 임대 기간별 자격 증명
베어메탈 고객은 VPN을 통한 IPMI를 이용하여 전원 제어, 부팅 순서 및 가상 미디어를 사용할 수 있습니다. 자격 증명은 임대 기간이 종료되면 교체되며, 컨트롤러 펌웨어는 고객의 일정이 아닌 당사 일정에 따라 패치됩니다.
번인: 고객에게 인도되기 전 3일
노드 9개 중 약 1개가 첫 번째 테스트에서 문제를 발견합니다. 거의 항상 단일 DIMM입니다.
- 01
펌웨어를 알려진 기준선으로 설정
시스템, 컨트롤러, 네트워크 및 드라이브 펌웨어는 테스트 시작 전에 플릿이 실행하는 버전으로 고정됩니다. 잘못된 펌웨어로 테스트된 노드는 유용한 테스트를 한 것이 아닙니다.
- 02
메모리, 길게 테스트
모든 장착 모듈에 걸쳐 여러 번의 전체 통과, 몇 분이 아닌 몇 시간이 소요됩니다. 이 단계는 번인 테스트가 포착하는 대부분을 잡아내며, 일정이 며칠 단위로 측정되는 이유입니다.
- 03
열 소크
입구가 범위의 따뜻한 끝에 있는 상태에서 모든 코어를 6시간 동안 최대 부하로 실행합니다. 단순히 온도뿐만 아니라 지속 부스트 클럭의 감소를 관찰합니다. 5시간째에 열 조절이 발생하는 노드는 3개월째에 고객에게 그런 현상을 일으킬 수 있기 때문입니다.
- 04
전체 표면 스토리지 검증
각 드라이브는 처음부터 끝까지 기록되고, 다시 읽혀지며 비교됩니다. 이 단계가 끝날 때의 SMART 카운터는 드라이브의 수명 동안 평가되는 기준선이 됩니다.
- 05
라인 속도로, 양방향 동시에
모든 포트를 한 시간 동안 양방향으로 최대 용량으로 구동하고, 호스트가 인지하지 못하는 오류에 대해 스위치 측 카운터를 확인합니다.
- 06
피드 하나 제거, 그 다음 다른 피드
피드를 제거하고 복원한 다음, 다른 쪽에서도 동일한 작업을 수행합니다. 조금이라도 깜빡이는 노드는 서비스에 투입되지 않습니다.
- 07
플릿에서 조용한 하루
인스턴스를 전혀 실행하지 않고 24시간 동안 모니터링합니다. 그런 다음 고객을 수용하기 시작합니다.
총 소요 시간은 약 72시간입니다. 이것이 새 사이트의 재고가 조금씩이 아닌 배치로 나타나는 이유이기도 합니다. 랙이 도착하면 3일 후 모든 것이 한 번에 사용 가능해집니다.
드라이브 고장이 시작될 때
드라이브는 일반적으로 갑자기 죽지 않습니다. 아무도 읽지 않는 카운터에서 며칠 동안 그 신호를 보냅니다. 그래서 우리 카운터는 5분마다 읽힙니다.
- 01
추도사가 아닌 임계값
미디어 오류, 재할당된 섹터, 마모 수준 및 지연 시간 이상치를 지속적으로 샘플링합니다. 임계값을 초과하는 드라이브는 여전히 완벽하게 작동하는 동안 교체 대상으로 표시됩니다.
- 02
예비 드라이브가 먼저 투입됩니다.
표시된 드라이브를 제거하기 전에 예비 드라이브를 미러에 통합하여 기술자를 기다리는 동안 페어가 단일 복사본으로 실행되지 않도록 합니다.
- 03
의도적으로 제한된 재구축
3.84TB 미러는 최대 속도로 약 40분 만에 재구축할 수 있습니다. 우리는 약 2시간에 걸쳐 더 느리게 실행합니다. 최대 속도로 재구축하는 것은 해당 노드의 인스턴스에 성능 사고와 구별할 수 없기 때문입니다.
- 04
통보되며, 다른 것은 변경되지 않습니다.
인스턴스 페이지에 메모가 나타납니다. 재부팅, 마이그레이션, 유지 관리 기간, 그리고 귀하가 응답해야 하는 티켓도 없습니다.
- 05
드라이브는 조각조각 나가 버립니다
장애가 발생하고 퇴역한 드라이브는 보증 크레딧을 위해 반품하지 않고 현장에서 폐기합니다. 크레딧은 확실성보다 가치가 낮습니다.
미러는 중복성이지 백업이 아닙니다. 미러는 드라이브 고장으로부터는 보호하지만, 잘못된 마이그레이션이나 열정적인 삭제로부터는 보호하지 못합니다. 스냅샷은 5슬롯에 5유로, 오프노드 백업은 500GB당 9유로이며 인스턴스와 다른 사이트에 기록됩니다.
하드웨어 질문
아니요. Ryzen 노드는 비-ECC DDR5-5600을 사용하며, 나중에 데이터시트에서 알게 되는 것보다 여기서 미리 말씀드리는 것이 낫습니다. 무결성이 중요한 작업은 EPYC에 맡기세요.
네, 그리고 확인할 수 있습니다. 새벽 3시와 피크 시간에 지속적인 단일 코어 벤치마크를 실행해 보세요. 수치가 변하지 않아야 합니다. 변한다면 티켓을 열어 주세요. 문제가 있는 것이며 우리도 알고 싶습니다.
이름으로는 선택할 수 없지만, 반-친화성을 요청할 수 있습니다. 두 인스턴스를 별도의 노드, 별도의 스위치, 별도의 전원에 배치하는 것입니다. 비용은 들지 않으며 티켓 하나면 됩니다.
작업이 허용하는 경우 인스턴스는 라이브 마이그레이션되어 수백 밀리초의 일시 중지가 발생합니다. 그렇지 않으면 최소 5일 전에 통지하며, 시간이 맞지 않으면 한 번 옮길 수 있는 창을 제공합니다.
아니요. 코어, 메모리, NVMe는 각각 한 번씩 할당됩니다. 유일한 공유 리소스는 업링크이며, 그래서 공정 사용 수치가 암시되지 않고 공개됩니다.
프로덕션의 모든 노드는 Zen 4 또는 Zen 5입니다. 이전 세대의 마지막은 2022년에 퇴역했으며, 그 이후로는 더 오래된 실리콘으로 판매되지 않았습니다.
동일한 하드웨어, 34개 도시
노드 사양은 건물의 국기에 따라 바뀌지 않습니다. 원하는 관할권과 지연 시간을 선택한 다음 크기를 선택하세요.