您拥有的是整张卡，而非切片
共享 GPU 意味着必须等别人的任务完成才能轮到您。本系列每张卡都通过完整的十六通道链路直通给一个实例，无论闲置与否一直分配给该实例，直到您取消。
A shared GPU is someone else’s job finishing before yours starts. Every card in this line is passed straight through to a single instance and stays there until you cancel.
| 方案 | 专用核心 | 内存 | NVMe 存储 | 显卡 | 端口速度 | 价格 | |
|---|---|---|---|---|---|---|---|
| G-ADA Inference and light training | 8 | 64 GB | 1 TB | 1 × RTX 4000 Ada · 20 GB | 40 Gbit/s | €239.00 /月 | 配置 |
| G-L40S最常用 48 GB of VRAM, undivided | 16 | 128 GB | 2 TB | 1 × L40S · 48 GB | 40 Gbit/s | €749.00 /月 | 配置 |
| G-L40S×2 Two cards, one NUMA node | 32 | 256 GB | 4 TB | 2 × L40S · 96 GB | 40 Gbit/s | €1420.00 /月 | 配置 |
价格不含增值税（如适用）。 流量: 不限量，公平使用.
EPYC 9354P host · PCIe 4.0 x16 passthrough · no vGPU time-slicing
三十四个城市，二十九个国家
延迟数据来自我们自己探针的测量中位数，而非供应商手册。它们会变化；页面会随之更新。
直通及其重要性
大多数便宜的 GPU 容量只是一张卡在排队中切出的部分。产品页上的数字是卡的内存，而非您的专属，您测得的吞吐量还取决于今天早上谁醒了。
无 vGPU、无时间切片、没有介于您和硅芯片之间的调度器。
在这里，卡片通过十六通道 PCIe 4.0 链路的超硬件层绑定到您的实例。整台设备都属于您：全部内存、所有计算单元、完整的拷贝引擎带宽。没有任何分区，没有排队，其他租户也不会出现在您的设备列表中。
实际结果是，您今晚的基准测试和上周二的基准测试一致。需要两天完成的微调运行会在您预判的一小时内完成。交互式工作保持交互性，因为前面没有其他租户的批处理任务。
全显存，始终可用
L40S 上有四十八 GB，RTX 4000 Ada 上有二十 GB，其中没有为超管理器分区预留。卡上有的，您的进程都能寻址使用。
空闲无需额外付费
卡片按月计费，而非按秒。您可以在两次实验之间让模型常驻三周，没有人会在您睡觉时回收它。
两卡单主机
双卡套餐将两张卡放在同主机的同一个 NUMA 域内。它们通过 PCIe 而非专用卡间链路通信，这值得在规划训练拓扑之前了解。
您自己的软件栈
我们把带显卡的机器交给你，就不插手了。驱动、容器运行时、框架版本和内核都是你的。没有任何托管层会对你用的 Python 指手画脚。
这些显卡适合干什么
这两块卡都是工作站级别的，不是训练集群的顶尖配置，诚实的定位就应该如此。
推理、微调、渲染和批量数值计算。就按这个顺序。
如果您的模型能装进四十八吉字节内，L40S 就能在您持续付费期间把它好好跑起来。如果装不下，再多热情也没用，下一步诚实的选择就是量化、在双卡套餐上做分片，或者干脆换一档不同的机器。
| 工作负载 | 选哪张卡 | 真正的瓶颈 |
|---|---|---|
| 向真实用户提供量化模型推理 | RTX 4000 Ada | 内存，然后是请求并发数 |
| 以全精度提供中型模型推理 | L40S | 四十八吉字节就是决定一切的极限 |
| 微调（带适配器） | L40S | 反向传播期间需要的是显存，不是原始吞吐量 |
| 大模型的全面微调 | 两张 L40S，或者去别家 | PCIe 上卡与卡之间的带宽会成为极限 |
| 批量渲染和视频编码 | 任一均可 | 磁盘和网络的瓶颈远比显卡本身更常见 |
| 双精度数值仿真 | 通常两者都不适合 | 这些不是双精度的部件。用 EPYC 核心吧。 |
谁不该购买此产品
GPU 容量比我们卖的任何其他产品都更容易引来过度乐观的规划。有三类人应该绕过这一档。
对小部分客户，我们能告诉他们的最有价值的话就是我们这儿不适合您。
您要从头训练一个庞然大物
多节点训练、主机之间用高带宽互连，不是这个产品该干的。同一主机上走 PCIe 的卡最多两张，这就是我们的上限，假装不是只会浪费您几周的时间。
您想要按秒计费
显卡是按月租用的。如果您实际上每周只用二十分钟，那按量计费的平台会比我们便宜，我们宁愿现在就说清楚。
您的模型装不下
两张卡加起来九十六吉字节就是这里能容纳的上限。下单之前先算清楚权重、激活值和优化器状态的内存算术，别下单之后才算。
您需要双精度
这些是单精度和混合精度的部件。坚持要 FP64 吞吐量的科学计算，用四十八个 EPYC 核心跑会比用这两张卡都快。
您要我们管软件栈
我们不维护您的驱动、CUDA 版本或框架矩阵。加固附加包只覆盖操作系统基线，就到这儿为止。
显卡周围的主机
挨饿的 GPU 是昂贵的空间加热器。主机和显卡一样重要，而这正是多数廉价 GPU 方案悄悄削减成本的地方。
EPYC 9354P、ECC 内存、本地 NVMe、四十吉比特网口。
喂得饱它的核心
根据套餐不同，有八到三十二个专用 EPYC 核心，与显卡固定在同一 NUMA 域。数据加载和预处理通常才是训练循环停顿的原因，而那是 CPU 干的活。
主机上的 ECC 内存
注册的 DDR5-4800，六十四到二百五十六吉字节。一个四十八小时的任务恰巧就不该因为数据加载缓冲区里一个翻转的比特而毁掉。
跟得上的 NVMe
一到四TB本地Gen4 NVMe，镜像配置。数据集直接从机器本身读取，而不是通过网络卷，因为网络卷可能同时被其他人读取。
四十吉比特端口
拉取一个数TB的数据集应该只需一个晚上。四十吉比特端口的合理使用上限为每月250TB，已在定价页面公布。
带外控制台
通过经身份验证的隧道提供串行和VNC访问，已包含在内。当驱动程序安装半夜出错时，你仍然可以访问机器，这正是它存在的全部原因。
显卡采用直通方式，因此驱动程序像其他机器一样在你的实例内部安装。宿主机上的任何东西都不会触及你的框架，重启也不会重新协商任何东西。
显卡在哪里
阿姆斯特丹、法兰克福、伦敦、纽约、达拉斯、洛杉矶、新加坡和东京。这些是具有足够电力密度和散热能力的地板，可以全天候全速运行显卡，而不是礼貌性地短时运行。
六个国家八个站点。GPU需要电力和散热，而不是邮政编码。
法兰克福是我们运营的最繁忙的GPU机房，新显卡首先到达那里。达拉斯是短期内最容易获得容量的地方，因为那里的电力便宜且机房面积大。洛杉矶也部署了显卡，但经常供不应求，所以如果你需要西行通往亚洲的路线，请尽早订购。
这款产品的库存确实流动很快。中午显示有货的显卡可能到晚上就没有了，我们宁愿向你显示准确的售罄标签，也不愿接受我们本周无法交付的订单。
| 站点 | 备注 | 典型用途 |
|---|---|---|
| 阿姆斯特丹 | 整个基础设施中最密集的站点，所有东西都先运到这里 | 欧洲推理，对欧洲大陆大部分地区延迟低 |
| 法兰克福 | 最繁忙的GPU机房，最先收到新显卡 | 训练和微调，容量比最后几毫秒更重要 |
| 伦敦 | 欧洲跨大西洋延迟最低 | 从一个地方服务于大西洋两岸的用户 |
| 纽约 | 东海岸枢纽，全产品线 | 北美推理 |
| 达拉斯 | 电力便宜，机房面积大，容量最易获得 | 长时批处理任务和任何对价格敏感的任务 |
| 洛杉矶 | 亚洲以外我们最好的西行线路 | 从北美服务环太平洋地区 |
| 新加坡 | 东南亚的默认选择 | 区域推理 |
| 东京 | 该地区最稳定的往返时间 | 对延迟敏感的日本和韩国流量 |
长任务，以及如何不丢失它们
一个四十八小时的微调任务，赌的是两天内不会出任何差错。把任务结构化，这样即使赌输了，也只损失一个小时，而不是整个周末。
检查点。即使你听过一百遍，我们还是要说。
- 01
频繁将检查点保存到本地NVMe
每几百步保存到本地磁盘，因为速度足够快，开销可以忽略不计。无法恢复的任务最终你会跑两遍。
- 02
将检查点复制到机器外部
本地NVMe是镜像的，但并非不朽。节点外备份每晚写入另一个城市，这是本页最便宜的保险。
- 03
在动驱动程序之前先做快照
驱动和框架升级是导致一个正常工作环境变成非正常工作环境的主要原因。创建快照只需几秒，恢复也只需几秒。
- 04
关注温度和频率，而不仅仅是损失
当环境状况不佳时，显卡会降频。如果代码未变但吞吐量下降，在重写数据加载器之前，先查看频率数据。
- 05
横向扩展前先咨询
如果下一步需要四块或八块显卡，请告知支持人员您想要做什么。有时答案是裸机服务器，偶尔答案是您不合适我们供应。
硬件故障时
GPU 通常会慢慢退化而非突然死亡：频率下降、卡上出现已纠正的内存错误、或者任务运行速度莫名变慢三分之一，而您在代码中找不到原因。
显卡故障与磁盘不同。更缓慢，且有更多预警。
我们的监控系统会持续检查每台主机上的显卡温度、频率行为和错误计数器。当显卡出现异常时，我们会在其停止工作前联系您，并安排在不影响您任务的时间窗口内更换。如果显卡彻底故障，您的实例将在同一站点内的另一台主机上重建，卷和地址保持不变。
该产品线的恢复时间比其它产品线要慢，原因值得明说：一TB 的数据集和驻留模型需要大量时间移动和重新加载。请按一小时而非十五分钟来规划恢复时间，并将检查点保存在不在故障机器上的位置。
尽可能在故障前预警
错误计数器和频率遥测数据是持续读取的。大多数显卡更换都在事先与客户商定的时间窗口内进行。
卷和地址保持不变
重建会保留您的 NVMe 内容和 IP 地址。您的 DNS 或证书无需任何更改。
自动退款
此处的 99.99% 合同可用性保证与其它产品线相同，且退款无需提交申请。
关于本产品线的问题
物理设备通过完整的十六通道链路与您的实例绑定。没有 vGPU 分区、时间切片，也没有其他租户。您的设备列表显示一张卡，因为确实只有一张卡。
不可以。显卡按月计费，最短承诺周期是一个月。如果您的负载确实是突发性的，按量付费的供应商会更便宜，我们不会假装不是这样。
除非您要求，否则没有。镜像出厂是干净的，驱动会在您的实例内部安装，因为我们一半的 GPU 客户对版本有强烈意见，另一半客户有自带驱动的容器。
没有。它们位于同一台主机和同一个 NUMA 域内，通过 PCIe 通信。对于梯度交换较小的数据并行工作负载，这是足够的。但对于依赖高带宽卡间互联的工作负载，则不适合，您应相应调整预期。
不可以。透传要求主机为它专门构建，包括 PCIe 拓扑和功率预算。切换到该产品线意味着需要新实例和数据迁移。
卷会被抹掉，显卡会返回资源池。请在服务期结束前将检查点移走，因为已取消的实例会彻底消失，而不是停放在某个地方等您改变主意。