패스스루, 타임 슬라이싱이 아닌

GPU 인스턴스가 이번 달 프랑크푸르트, 댈러스, 싱가포르에서 출시되었습니다. 두 가지 구성으로 시작합니다: 20GB VRAM의 단일 RTX 4000 Ada와 48GB의 단일 L40S. 둘 다 EPYC 9354P 호스트에 있으며, PCIe 4.0 전체 16레인으로 연결되어 단일 인스턴스에 직접 전달됩니다.

직접 전달이란 카드가 부팅 시 하이퍼바이저에 의해 인스턴스에 바인딩되고 취소할 때까지 유지됨을 의미합니다. 스케줄러, 대기열, 다른 테넌트, 다른 사람도 사용하는 VRAM 분할이 없습니다.

우리가 실제로 내린 결정

카드를 테넌트 간에 시간 분할하는 것은 지원되고, 문서화되어 있으며, 완전히 합법적인 사업 운영 방식입니다. 우리는 견적을 내는 데 약 3주를 보냈습니다. 계산이 매력적이기 때문입니다: 48GB 카드 하나는 12GB 인스턴스 4개로 제시될 수 있으며, 이는 구매 1회에서 임대 4회, 전력 예산 1개에서 고객 4명을 의미합니다.

그런 다음 꼬리 지연 시간을 실행했습니다.

공유 카드는 다른 테넌트가 유휴 상태일 때 괜찮지만, 그렇지 않을 때는 불쾌합니다. 다른 활성 테넌트 3개가 있는 카드의 추론 지연 시간은 중앙값에서는 대략 예상대로였지만, 99번째 백분위수에서는 다른 사람들이 무엇을 하고 있느냐에 따라 4배에서 9배까지 나빴습니다. 훈련 작업은 더 나빴습니다. 훈련 작업은 버스트가 아니므로 틈새를 얻지 못하기 때문입니다.

라이선스 문제도 있습니다. 깔끔한 분할을 가능하게 하는 가상화 소프트웨어는 카드당 연간 라이선스 비용이 들며, 그 비용은 사라지지 않고 조각을 임대하는 사람의 청구서에 포함됩니다. 우리는 공유하는 특권에 대해 비용을 청구했을 것입니다.

호스트 구성 방법

NUMA 고정은 사양서가 시사하는 것보다 더 중요합니다. 잘못된 소켓의 vCPU가 인터커넥트를 통해 카드에 데이터를 공급하면 스트리밍 데이터가 있는 모든 작업에서 실제 처리량이 감소하며, 이는 다른 곳의 GPU 호스트에서 보이는 가장 흔한 잘못된 구성입니다.

전력, 그리고 사이트가 세 곳뿐인 이유

350와트 카드는 랙의 계산을 바꿉니다. 일반 노드 12개를 안정적으로 수용하는 사이트는 GPU 노드 4개를 수용하고 냉각이 부족해집니다. 프랑크푸르트, 댈러스, 싱가포르는 세 곳 모두 전력 여유가 있고 재협상 없이 밀도를 감당할 수 있는 바닥 계획이 있었기 때문에 선택되었습니다.

전력이 허용되는 대로 더 많은 사이트가 추가되며, 정직한 제약은 항상 수요보다는 전기입니다. 사이트가 전력을 감당할 수 없으면 열 제한으로 판매하는 것보다 제품을 판매하지 않는 것이 낫습니다.

할 수 없는 것

• 노드 간 카드 페어링 없음. 2카드 인스턴스가 존재하며 두 카드는 하나의 NUMA 노드에 있습니다. 더 큰 것은 베어메탈에 대한 논의입니다.
• 인스턴스 내부 분할 없음. 전체 카드를 가지며, 어떻게 나눌지는 프레임워크와의 문제입니다.
• 핫 스왑 없음. GPU 변경은 재구축을 의미합니다. 카드가 부팅 시 바인딩되기 때문입니다.
• 소비자용 게이밍 카드 없음. 매주 질문받습니다. 랙에 필요한 냉각 프로파일이 없고, 대부분의 경우 임대가 허용되지 않습니다.

가격, 명확하게

카드는 그만한 비용이 들며 마진은 카탈로그의 다른 제품보다 얇습니다. 시간당 청구는 없습니다. 전용 하드웨어의 시간당 청구는 카드를 유휴 상태로 유지하고 다른 모든 사람에게 그 특권에 대한 비용을 청구하는 것을 의미하기 때문입니다. 월간, 표준 7일 환불이 있으며, 다른 모든 것과 동일한 암호화폐 전용 결제를 사용합니다.

워크로드가 정말로 버스트하고 시간당이라면, 우리는 잘못된 공급자이고 대형 하이퍼스케일러가 올바른 공급자입니다. 이는 우리가 시간 분할을 거부하는 한, 즉 무기한으로 사실입니다.