Что на самом деле в стойке
Два поколения процессоров, не три. Память, которая исправляет собственные ошибки там, где это важно, корпоративные NVMe в зеркальных парах с запасным диском рядом, и три дня приработки, прежде чем узлу позволят встретиться с клиентом.
Два поколения, и ничего старше
Большинство хостеров держат три или четыре поколения одновременно и продают их по одной цене, из-за чего два сервера с одинаковыми характеристиками могут отличаться на сорок процентов в одной и той же нагрузке. Мы же держим парк узким.
Ничего в продакшене не отстаёт от текущего поколения более чем на одно. Это правило действует с 2022 года.
Ryzen 9 9950X, Zen 5
16 ядер, 32 потока, разгон до 5.7 ГГц. Это самый быстрый однопоточный процессор, который мы можем купить, а скорость одного потока по-прежнему определяет, как быстро завершится запрос в большинстве реальных приложений.
EPYC 9354P, Zen 4
32 ядра и 64 потока на одном сокете, двенадцать каналов памяти, зарегистрированная ECC. Там, где важнее количество ядер, объём памяти и предсказуемое поведение NUMA, а не пиковая частота, эта модель выигрывает.
Один сокет везде, где возможно
Доступ к памяти через сокет — это пропасть задержек, которую не обойти настройками. Только самая большая конфигурация bare-metal — двухсокетная, и она такая, потому что клиент явно попросил 64 ядра.
Ядра выделяются один раз
Ядро, проданное вам, планируется для вас. Никаких бонусных кредитов, никакого коэффициента oversubscription, никакого steal time, появляющегося под нагрузкой и исчезающего до того, как вы успеете сделать скриншот.
Почему не новейшие серверные чипы
Серверные части Zen 5 находятся в лаборатории, а не в парке. Когда они заменят 9354P, это появится в журнале изменений с датами миграции, а не как фраза на главной странице за шесть месяцев до того, как кто-то сможет их купить.
Память и где на самом деле живёт ECC
Ошибки памяти не редкость; они просто невидимы, пока что-то важное не станет незаметно неправильным. На серверной линии каждая из них исправляется и записывается.
Узлы EPYC несут двенадцать модулей DDR5-4800 registered ECC, по одному на канал, все заняты. Заполнение всех каналов — это не про ёмкость, а про пропускную способность: полупустая шина памяти на 32-ядерном процессоре — это узкое место, которое вы почувствуете на всём, что быстро работает с RAM.
Узлы Ryzen работают на DDR5-5600 без ECC, потому что потребительская платформа не предлагает её в форме, на которую мы могли бы положиться. Это прямо указано здесь, а не спрятано: если вашей нагрузке нужна коррекция ошибок, линейка EPYC начинается с 89 евро и существует именно для этого.
Исправимые ошибки подсчитываются
Ранк, дающий более пары исправлений в день, помечается, и модуль меняется в ближайшее окно обслуживания, независимо от того, произошло ли что-то неправильное.
Неисправимые ошибки выводят узел из эксплуатации
Инстансы мигрируют, узел покидает пул, и DIMM заменяется до возврата. Вы можете увидеть живую миграцию; вы не должны увидеть крах.
Никакого ballooning, никакого слияния страниц
Память выделяется один раз и не учитывается дважды. Объединение одинаковых страниц отключено во всей инфраструктуре, потому что это побочный канал между арендаторами и заявление о производительности, которое исчезает под реальной нагрузкой.
Ёмкость узла намеренно щедрая
Узел на базе EPYC поставляется с достаточным объёмом памяти, чтобы даже самый крупный размещаемый на нём тариф оставлял запас. Узлы, забитые до последнего гигабайта, не имеют места для миграции, когда соседу нужно переехать.
NVMe, ресурс и запасной диск, который ничего не делает
Каждый диск — это корпоративная модель четвёртого поколения с защитой от сбоя питания, то есть с батарейным конденсатором, который завершает запись уже подтверждённых данных при внезапном отключении электричества.
Горячий резерв на каждом узле, простаивающий в ожидании. Это самая дешёвая страховка в здании.
Зеркальные пары, всегда
Чтение распределяется по обеим половинам; запись подтверждается из защищённого кэша и попадает на обе. Отказ одного диска слегка меняет профиль производительности и никак не влияет на доступность.
A hot spare per node
Один диск в каждом узле простаивает пустым. Когда зеркало теряет одну половину, запасной диск автоматически вступает в работу, и перестроение начинается раньше, чем кто-либо прочитает оповещение.
Запас по ресурсу, а не предел ресурса
На обычных узлах используются диски класса 1 DWPD; на узлах хранения — 3 DWPD для уровня записи. Диски заменяются на восьмидесяти процентах от номинального ресурса, а не тогда, когда они отработают до цифры на табличке.
Никаких потребительских дисков
Ни в кэш-уровне, ни в основном уровне, ни в узле, который кто-то быстро собрал в 2021 году и забыл. Потребительский NVMe быстрый одиннадцать секунд, а потом уже нет — это нормальный компромисс для ноутбука.
Ёмкость выделяется, а не обещается
Хранилище не тонко провижинится между клиентами. Если в плане указано 800 ГБ, то 800 ГБ есть на этом узле, подписано на вас, и никто другой не может в него влезть.
Что в каждом классе узлов
Пять классов узлов обслуживают пять линеек продуктов. Массовое хранилище на S-классе — это корпоративные SATA-диски за NVMe-уровнем записи, это единственный вращающийся носитель во всём парке.
| Класс | CPU | 内存 | NVMe | Сеть | Питание |
|---|---|---|---|---|---|
| R — Ryzen NVMe | Ryzen 9 9950X, 16C/32T | 128 ГБ DDR5-5600 | 2 × 3,84 ТБ в зеркале, 1 резервный | 2 × 10 GbE, LACP | 2 × 800 Вт, A и B |
| E — EPYC High-Memory | EPYC 9354P, 32C/64T | 12 × DDR5-4800 ECC RDIMM | 4 × 3,84 ТБ в зеркале, 1 резервный | 2 × 25 GbE, LACP | 2 × 1200 Вт, A и B |
| G — GPU | EPYC 9354P, 32C/64T | 256 ГБ ECC DDR5-4800 | 4 × 3,84 ТБ в зеркале, 1 резервный | 2 × 40 GbE, LACP | 2 × 2000 Вт, A и B |
| S — Storage | EPYC 9354P, 32C/64T | 128 ГБ ECC DDR5-4800 | 2 × 3,84 ТБ уровень записи, за ним SATA-массив | 2 × 25 GbE, LACP | 2 × 1200 Вт, A и B |
| BM — Bare Metal | Ryzen 9950X, или один или два EPYC 9354P | от 128 ГБ до 1 ТБ | до 8 × 7,68 ТБ | 10–40 GbE | 2 × 1200 Вт, A и B |
GPU-узлы передают физические карты целиком по PCIe 4.0 x16 без разделения по времени, поэтому цифра по питанию такая. Две карты в одном экземпляре находятся на одном NUMA-узле, потому что растаскивание их по разным сокетам стоило бы больше, чем даёт вторая карта.
Питание, и управление не в интернете
По два всего, что можно удвоить, и управляющая сеть, у которой никогда не было маршрута во внешний мир.
Фиды A и B, раздельные пути
Два блока питания на узел на независимых линиях, каждый рассчитан на полную нагрузку машины в одиночку. Потеря фида — это событие в логе и ничего больше, и мы это доказываем на каждом узле во время прожига.
Батареи, затем генератор
Батареи перекрывают переключение; генераторы — всё остальное. Переключение тестируется по графику на каждой площадке, и площадка, не прошедшая тест, не получает новые узлы, пока не пройдёт его.
Никакого номера уровня
Рейтинги принадлежат зданиям и операторам, которые их заказывали, а не арендатору, повторяющему цифру в маркетинговых материалах. Что мы вам скажем по каждому объекту — это топология питания и результат последнего теста переключения.
Out-of-band в отдельной VLAN
Интерфейсы управления не имеют публичного маршрута и никогда не имели. Доступ осуществляется через аутентифицированный туннель, логируется и доступен как вам, так и нам.
Консоль включена, бесплатно
Serial и VNC к вашему инстансу через этот туннель. Это работает, когда ваша сетевая конфигурация не работает, а это единственный момент, когда это кому-то нужно.
IPMI на железе, учётные данные на срок
Клиентам на выделенных серверах предоставляется IPMI через VPN с управлением питанием, порядком загрузки и виртуальными носителями. Учётные данные ротируются по окончании срока, а прошивка контроллера обновляется по нашему графику, а не по вашему.
Прогон: три дня до встречи с клиентом
Примерно один узел из девяти не проходит что-то с первого раза. Почти всегда это один модуль памяти.
- 01
Известная прошивка
Прошивки системы, контроллера, сети и дисков закрепляются на версиях, которые использует весь парк, прежде чем начнётся любой тест. Узел, протестированный на неправильной прошивке, не протестировал ничего полезного.
- 02
Память, подробно
Несколько полных проходов по каждому установленному модулю, часы, а не минуты. Этот этап выявляет большую часть того, что выявляет прогон, и именно поэтому график измеряется днями.
- 03
Тепловая выдержка
Каждое ядро под полной нагрузкой в течение шести часов при температуре воздуха на входе в верхнем диапазоне. Мы наблюдаем за падением устойчивых частот, а не только за температурой, потому что узел, который сбрасывает частоты на пятом часу, сделал бы это с вами на третьем месяце.
- 04
Проверка всей поверхности хранилища
Каждый диск записывается от начала до конца, читается и сравнивается. Показатели SMART в конце этого этапа становятся базовыми, по которым диск будет оцениваться всю оставшуюся жизнь.
- 05
Полная скорость в обоих направлениях одновременно
Каждый порт работает на полную мощность в обоих направлениях в течение часа, при этом проверяются счётчики на коммутаторе на ошибки, которые хост не заметил бы.
- 06
Отключить один канал, затем другой
Канал отключается, восстанавливается, затем то же самое на другой стороне. Любой узел, который хотя бы моргнёт, не вводится в эксплуатацию.
- 07
Тихий день в парке
Двадцать четыре часа в мониторинге без единого инстанса. Затем он начинает принимать клиентов.
Общее время — около 72 часов. Именно поэтому наличие на новом сайте появляется партиями, а не по капле: приходит стойка, и через три дня все её ресурсы доступны сразу.
Когда диск начинает выходить из строя
Диски обычно умирают не внезапно. Они сообщают об этом днями в счётчиках, которые никто не читает, поэтому наши читаются каждые пять минут.
- 01
Пороги, а не некрологи
Ошибки носителя, переназначенные сектора, износ и выбросы задержек отслеживаются непрерывно. Диск, превысивший любой порог, помечается для замены, пока он ещё отлично работает.
- 02
Резервный включается первым
Горячий резерв вводится в зеркало до того, как помеченный диск удаляется, так что пара никогда не работает как единственная копия, пока кто-то ждёт техника.
- 03
Пересборка, намеренно замедленная
Зеркало 3,84 ТБ могло бы пересобраться примерно за сорок минут на полной скорости. Мы запускаем его медленнее, примерно за два часа, потому что пересборка на полной скорости неотличима от инцидента производительности для инстансов на этом узле.
- 04
Вам сообщают, и больше ничего не меняется
На странице инстанса появляется уведомление. Никаких перезагрузок, миграций, окон обслуживания и тикетов, на которые вам нужно отвечать.
- 05
Диск уходит на выброс в кусках
Вышедшие из строя и снятые с эксплуатации диски уничтожаются на месте, а не возвращаются для получения гарантийного кредита. Этот кредит стоит меньше, чем уверенность в сохранности данных.
Зеркало — это избыточность, а не резервная копия. Оно защищает вас от отказа диска, но не от неудачной миграции или случайного удаления. Снимки стоят пять евро за пять слотов, а резервное копирование вне узла — девять евро за 500 ГБ, которое записывается на площадку, отличную от инстанса.
Вопросы по оборудованию
Нет. Узлы на Ryzen работают на не-ECC DDR5-5600, и мы предпочитаем сказать об этом здесь, чем позволить вам узнать это из технического описания позже. Всё, где недопустимо тихое повреждение памяти, должно работать на EPYC.
Да, и это можно проверить. Запустите длительный однопоточный тест в три часа ночи и снова в часы пиковой нагрузки; цифры не должны меняться. Если меняются — откройте тикет, потому что что-то не так, и мы хотели бы об этом знать.
Не по имени, но вы можете запросить анти-аффинити: два ваших инстанса на разных узлах, разных коммутаторах и разных фидерах питания. Это бесплатно и занимает один тикет.
Где позволяют работы, инстансы мигрируют без остановки, и вы видите паузу в несколько сотен миллисекунд. В противном случае вы получаете предупреждение не менее чем за пять дней, с окном, которое можно один раз перенести, если время вам не подходит.
Нет. Ядра, память и NVMe выделяются по одному разу. Единственный общий ресурс — аплинк, поэтому показатель честного использования публикуется, а не подразумевается.
Каждый узел в проде работает на Zen 4 или Zen 5. Последняя машина предыдущего поколения покинула парк в 2022 году, и с тех пор ничего на более старом кремнии не продаётся.
То же оборудование, тридцать четыре города
Спецификация узла не меняется в зависимости от флага на здании. Выберите юрисдикцию и задержку, которые вам нужны, а затем выберите размер.