一张卡，而非其切片
共享 GPU 意味着别人的任务必须先于您的完成。本产品线每张卡都通过完整 16 通道链路直通至单一实例，在您取消前一直保有，无论空闲与否。
A shared GPU is someone else’s job finishing before yours starts. Every card in this line is passed straight through to a single instance and stays there until you cancel.
| Gói | Nhân chuyên dụng | Bộ nhớ | Lưu trữ NVMe | Đồ họa | Tốc độ cổng | Giá | |
|---|---|---|---|---|---|---|---|
| G-ADA Inference and light training | 8 | 64 GB | 1 TB | 1 × RTX 4000 Ada · 20 GB | 40 Gbit/s | €239.00 /tháng | Cấu hình |
| G-L40SĐược dùng nhiều nhất 48 GB of VRAM, undivided | 16 | 128 GB | 2 TB | 1 × L40S · 48 GB | 40 Gbit/s | €749.00 /tháng | Cấu hình |
| G-L40S×2 Two cards, one NUMA node | 32 | 256 GB | 4 TB | 2 × L40S · 96 GB | 40 Gbit/s | €1420.00 /tháng | Cấu hình |
Giá chưa gồm VAT nếu có. Lưu lượng: Không giới hạn, sử dụng hợp lý.
EPYC 9354P host · PCIe 4.0 x16 passthrough · no vGPU time-slicing
Ba mươi bốn thành phố, hai mươi chín quốc gia
Số liệu độ trễ là trung vị đo được từ các cảm biến của chúng tôi, không phải từ tài liệu tiếp thị của nhà cung cấp. Chúng thay đổi; trang cập nhật khi chúng thay đổi.
直通及其重要性
大多数廉价 GPU 容量只是一张卡的碎片，在队列中轮转。产品页面上的数字是显卡的内存，而非您的，且您测得的吞吐量取决于今早谁在占用。
无 vGPU、无时间切片、无调度器横在您与硅片之间。
在这里，显卡通过 PCIe 4.0 16 通道链路在虚拟机监控程序层面绑定至您的实例。整个设备归您所有：全部内存、全部计算单元、完整的拷贝引擎带宽。无分区、无排队，其他租户不会出现在您的设备列表中。
实际效果是，今晚的基准测试与上周二的测试结果一致。原本两天的微调任务在您首个小时预测的时间内完成。交互式工作保持交互性，因为无需在您之前等待其他租户的批处理作业。
全部显存，始终可用
L40S 48 GB，RTX 4000 Ada 20 GB，不会为虚拟机监控程序分区预留。显卡拥有的，就是您进程可寻址的。
空闲不产生额外费用
显卡按月计费，而非按秒。两次实验间隔三周保持模型驻留，无人会在您睡觉时回收。
双卡，同一主机
双卡档位将两张设备置于同一主机的同一 NUMA 域。它们通过 PCIe 而非卡间链路通信，这一点在设计训练拓扑时需了解。
您自己的软件栈
Chúng tôi giao cho bạn một máy có card và không can thiệp gì thêm. Driver, container runtime, phiên bản framework và kernel là của bạn. Không có lớp quản lý nào có ý kiến về Python của bạn.
Các loại card này phù hợp với việc gì
Cả hai card đều là loại workstation, không phải đỉnh cao của một cụm huấn luyện, và định vị trung thực đi theo sau đó.
Suy luận (inference), tinh chỉnh (fine-tuning), kết xuất (rendering) và tính toán số hàng loạt. Theo thứ tự đó.
Nếu mô hình của bạn vừa vặn trong 48 gigabyte, một L40S sẽ phục vụ nó một cách tốt chừng nào bạn còn trả tiền. Nếu nó không vừa, dù nhiệt tình đến đâu cũng không làm nó vừa được, và bước trung thực tiếp theo là lượng tử hóa, phân chia trên tầng hai card, hoặc hoàn toàn một loại máy khác.
| Khối lượng công việc | Loại card | Ràng buộc thực sự |
|---|---|---|
| Phục vụ mô hình lượng tử hóa cho người dùng thực | RTX 4000 Ada | Bộ nhớ, sau đó là độ đồng thời yêu cầu |
| Phục vụ mô hình kích thước trung bình với độ chính xác đầy đủ | L40S | 48 gigabyte là trần quyết định điều đó |
| Tinh chỉnh với adapter | L40S | VRAM trong quá trình backward pass, không phải throughput thô |
| Tinh chỉnh toàn bộ mô hình lớn | Hai L40S, hoặc nơi khác | Băng thông card-to-card qua PCIe trở thành giới hạn |
| Kết xuất hàng loạt và mã hóa video | Một trong hai | Đĩa và mạng thường xuyên hơn card |
| Mô phỏng số với độ chính xác kép | Không loại nào, thường vậy | Đây không phải là các linh kiện độ chính xác kép. Hãy dùng EPYC cores |
Ai không nên mua sản phẩm này
Dung lượng GPU thu hút việc đo lường lạc quan hơn bất kỳ sản phẩm nào khác chúng tôi bán. Ba nhóm người nên bỏ qua dòng sản phẩm này.
Điều hữu ích nhất chúng tôi có thể nói với một số khách hàng là chúng tôi là cửa hàng không phù hợp.
Bạn đang huấn luyện một mô hình khổng lồ từ đầu
Huấn luyện đa nút với kết nối băng thông cao giữa các máy không phải là điều này. Hai card qua PCIe trên một máy là giới hạn của chúng tôi, và giả vờ ngược lại sẽ lãng phí nhiều tuần thời gian của bạn.
Bạn muốn tính tiền theo giây
Card được thuê theo tháng. Nếu mức sử dụng của bạn thực sự là 20 phút một tuần, một nền tảng tính tiền theo mức sử dụng sẽ tốn ít hơn của chúng tôi, và chúng tôi thà nói điều đó ngay bây giờ.
Mô hình của bạn không vừa
96 gigabyte trên hai card là tối đa có thể định địa chỉ ở đây. Hãy tính toán bộ nhớ cho trọng số, kích hoạt và trạng thái optimizer trước khi đặt hàng thay vì sau đó.
Bạn cần độ chính xác kép
Đây là các linh kiện độ chính xác đơn và hỗn hợp. Các mã khoa học đòi hỏi thông lượng FP64 sẽ chạy nhanh hơn trên 48 EPYC cores so với trên bất kỳ card nào.
Bạn muốn chúng tôi quản lý toàn bộ stack phần mềm
Chúng tôi không duy trì driver, phiên bản CUDA hoặc ma trận framework của bạn. Tiện ích bổ sung bảo mật bao phủ hệ điều hành nền tảng và dừng ở đó.
Máy chủ quanh card
Một GPU bị bỏ đói là một lò sưởi đắt đỏ. Máy chủ quan trọng như card, và đó là nơi hầu hết các dịch vụ GPU rẻ tiền lặng lẽ cắt giảm chi phí.
EPYC 9354P, bộ nhớ ECC, NVMe cục bộ cho máy, cổng 40 gigabit.
Các lõi có thể cung cấp dữ liệu cho nó
Tám đến ba mươi hai EPYC core chuyên dụng tùy theo tầng, được ghim trong cùng một miền NUMA với card. Tải dữ liệu và tiền xử lý là lý do thông thường khiến vòng lặp huấn luyện dừng lại, và chúng là công việc của CPU.
Bộ nhớ ECC trên máy chủ
DDR5-4800 đã đăng ký, 64 đến 256 gigabyte. Một công việc kéo dài 48 giờ chính xác là loại việc không nên bị hủy hoại bởi một bit lật trong bộ đệm dataloader.
NVMe theo kịp
Một đến bốn terabyte NVMe Gen4 cục bộ, được nhân bản. Dữ liệu truyền từ chính máy chứ không qua một ổ mạng mà người khác cũng đang đọc.
Cổng bốn mươi gigabit
Kéo một bộ dữ liệu nhiều terabyte vào dự kiến mất một buổi tối. Sử dụng hợp lý trên cổng bốn mươi gigabit là hai trăm năm mươi terabyte một tháng, được công bố trên trang giá.
Bảng điều khiển ngoài băng tần
Serial và VNC qua một đường hầm xác thực, bao gồm. Khi cài driver gặp sự cố lúc nửa đêm, bạn vẫn có thể truy cập máy, đó là lý do tồn tại của nó.
Card được chuyển qua, vì vậy driver được cài bên trong instance của bạn như bất kỳ máy nào khác. Không gì trên host chạm vào framework của bạn, và khởi động lại không đàm phán lại bất cứ điều gì.
Nơi đặt card
Amsterdam, Frankfurt, London, New York, Dallas, Los Angeles, Singapore và Tokyo. Đó là những tầng có mật độ điện năng và làm mát để chạy card liên tục ở tải đầy đủ thay vì theo đợt nhẹ nhàng.
Tám trung tâm ở sáu quốc gia. GPU cần điện và làm mát, không cần mã bưu chính.
Frankfurt là tầng GPU bận rộn nhất chúng tôi vận hành và nhận card mới trước tiên. Dallas là nơi dễ có dung lượng nhất trong thời gian ngắn, vì điện rẻ và tầng rộng. Los Angeles có card nhưng thường xuyên hết hàng, vì vậy hãy đặt sớm nếu bạn đang mua tuyến hướng tây vào châu Á.
Hàng thực sự di chuyển trên dòng này. Một card hiển thị có sẵn vào giữa trưa có thể không còn vào buổi tối, và chúng tôi thà hiển thị nhãn hết hàng chính xác còn hơn nhận đơn hàng mà chúng tôi không thể giao trong tuần này.
| Trung tâm dữ liệu | Ghi chú | Ứng dụng điển hình |
|---|---|---|
| Amsterdam | Trung tâm dày đặc nhất trong hạ tầng, mọi thứ được giao đến đây trước | Suy luận tại châu Âu với độ trễ thấp đến hầu hết lục địa |
| Frankfurt | Tầng GPU bận rộn nhất, nhận card mới đầu tiên | Huấn luyện và tinh chỉnh khi dung lượng quan trọng hơn mili giây cuối cùng |
| London | Độ trễ xuyên Đại Tây Dương thấp nhất ở châu Âu | Phục vụ người dùng ở cả hai bên Đại Tây Dương từ một nơi |
| New York | Điểm neo bờ Đông, đầy đủ sản phẩm | Suy luận Bắc Mỹ |
| Dallas | Điện rẻ, tầng rộng, dễ có dung lượng nhất | Các tác vụ dài và bất cứ thứ gì nhạy cảm về giá |
| Los Angeles | Tuyến hướng tây tốt nhất ngoài châu Á | Phục vụ vành đai Thái Bình Dương từ Bắc Mỹ |
| Singapore | Lựa chọn mặc định cho Đông Nam Á | Suy luận khu vực |
| Tokyo | Thời gian khứ hồi ổn định nhất trong khu vực | Lưu lượng Nhật Bản và Hàn Quốc nhạy cảm với độ trễ |
Tác vụ dài, và cách để không mất chúng
Một lần tinh chỉnh bốn mươi tám giờ là một vụ cá cược rằng không có gì sai trong hai ngày. Cấu trúc công việc để nếu thua cược, bạn mất một giờ thay vì cả cuối tuần.
Điểm kiểm tra. Chúng tôi vẫn sẽ nói điều đó sau khi bạn đã nghe hàng trăm lần.
- 01
Điểm kiểm tra đến NVMe cục bộ thường xuyên
Mỗi vài trăm bước, đến đĩa cục bộ, vì nó đủ nhanh để chi phí không đáng kể. Một tác vụ không thể tiếp tục là một tác vụ bạn cuối cùng sẽ chạy hai lần.
- 02
Sao chép các điểm kiểm tra ra khỏi máy
NVMe cục bộ được nhân bản, không phải bất tử. Sao lưu ngoài nút ghi đến một thành phố khác vào ban đêm, và đó là bảo hiểm rẻ nhất trên trang này.
- 03
Chụp nhanh trước khi bạn chạm vào driver
Nâng cấp driver và framework là nguyên nhân hàng đầu khiến một môi trường hoạt động trở thành không hoạt động. Chụp nhanh mất vài giây để thực hiện và vài giây để khôi phục.
- 04
监控温度和时钟，而不只是损失
当机房状况不佳时，显卡会降频。如果你的吞吐量在代码未变的情况下下降，先查看时钟数据，再重写数据加载器。
- 05
横向扩展前先询问
如果下一步需要四或八张卡，请告知支持人员你的目标。有时答案是裸机服务器，偶尔答案是我们不是合适的供应商。
硬件故障时
GPU通常是逐渐退化而非突然死亡：时钟下降、显卡上纠正的内存错误、作业突然慢三分之一但你在代码中找不到原因。
显卡故障与磁盘不同，更慢，且更有预兆。
我们的监控会跟踪每台主机上的显卡温度、时钟行为和错误计数器。当显卡开始出现异常时，我们会在它停止工作前联系你，并在你的作业间隙安排更换，而不是中断作业。如果显卡完全故障，你的实例会在同一站点的另一台主机上重建，卷和地址保持不变。
此产品线的恢复速度比集群其他部分慢，原因值得坦白：一TB的数据集和常驻模型需要实际分钟才能移动和重载。预计需要一小时而非十五分钟，并将检查点保存在除故障机器之外的地方。
尽可能提前警告故障
错误计数器和时钟遥测被持续读取。大多数显卡更换都在我们与客户事先商定的窗口内进行。
卷和地址保留
重建会迁移你的NVMe内容和IP地址。你的DNS或证书无需更改。
Tín dụng tự động
此产品线同样适用99.99%的合同可用性，且无需索赔表格即可获得信用额度。
Câu hỏi về dòng này
物理设备通过完整的十六通道链路绑定到你的实例。没有vGPU分区、时间切片或其他租户。你的设备列表显示一张卡，因为确实只有一张卡。
不可以。显卡按月度计费，最短承诺一个月。如果你的工作负载确实是突发性的，按量付费的供应商会更便宜，我们不会假装不是这样。
默认没有，除非你要求。镜像保持干净，驱动在实例内部安装，因为我们一半的GPU客户对版本有强烈意见，另一半有自带驱动的容器。
没有。它们位于同一主机和同一NUMA域，通过PCIe通信。对于数据并行且梯度交换适中的工作，这是可以的。对于任何假设高带宽卡间网络的情况，则不行，你应该相应调整预期。
不可以。直通要求主机为其构建，包括PCIe拓扑和电源预算。迁移到此产品线意味着新实例和数据复制。
卷会被擦除，显卡回到资源池。在租期结束前取出检查点，因为取消的实例确实消失，而不是暂存等待你改变主意。
占用整张卡
先检查内存计算，选择容量合适的站点，并用加密货币支付。根访问权限在一分钟内获得，驱动决定由你掌握，前七天可无理由退款。