카드의 일부가 아닌 카드 전체

여기서 카드는 16레인 PCIe 4.0 링크를 통해 하이퍼바이저 수준에서 인스턴스에 바인딩됩니다. 전체 장치가 내 것입니다: 모든 메모리, 모든 컴퓨트 유닛, 전체 복사 엔진 대역폭. 분할되는 것도, 대기열에 들어가는 것도 없으며, 다른 테넌트가 내 장치 목록에 나타나지 않습니다.

실질적인 결과는 오늘 저녁 벤치마크가 지난주 화요일 벤치마크와 일치한다는 것입니다. 이틀 걸리는 파인튜닝 실행이 첫 시간에 예측한 시간 안에 끝납니다. 대화형 작업은 다른 테넌트의 배치 작업이 앞에 없기 때문에 대화형으로 유지됩니다.

프랑크푸르트는 우리가 운영하는 가장 분주한 GPU 층이며 새 카드가 먼저 도착합니다. 달라스는 전력이 저렴하고 층이 넓어 단기 용량을 확보하기 가장 쉬운 곳입니다. 로스앤젤레스는 카드를 보유하지만 재고가 자주 낮아지므로, 아시아로 향하는 서쪽 경로를 구매하려면 일찍 주문하십시오.

이 라인에서는 재고가 실제로 움직입니다. 정오에 사용 가능으로 표시된 카드는 저녁에는 없을 수 있으며, 이번 주에 채울 수 없는 주문을 받는 것보다 정확한 품절 라벨을 보여주는 것이 낫습니다.

모니터링은 모든 호스트의 카드 온도, 클록 동작 및 오류 카운터를 감시합니다. 카드가 오작동하기 시작하면 작동이 중지되기 전에 연락드리고, 작업 중간이 아니라 작업 일정에 맞춰 교체를 예약합니다. 카드가 완전히 고장난 경우 인스턴스는 동일한 사이트의 다른 호스트에 볼륨과 주소를 그대로 유지한 채 재구축됩니다.

이 라인의 복구는 다른 곳보다 느립니다. 그 이유를 분명히 말할 가치가 있습니다: 테라바이트 규모의 데이터셋과 상주 모델은 이동하고 다시 로드하는 데 실제로 몇 분이 걸립니다. 15분이 아니라 1시간을 계획하고, 체크포인트를 불타는 기계가 아닌 다른 곳에 저장하세요.