Wat er werkelijk in het rack zit
Twee CPU-generaties, geen derde. Geheugen dat zijn eigen fouten corrigeert waar dat er toe doet, enterprise NVMe in gespiegelde paren met een reserve die er ongebruikt naast ligt, en drie dagen burn-in voordat een node een klant mag ontmoeten.
Twee generaties, en niets ouder
De meeste hosts draaien drie of vier generaties tegelijk en verkopen die tegen dezelfde prijs; daarom kunnen twee servers met identieke specificaties met veertig procent verschillen op dezelfde workload. Wij houden de vloot juist smal.
Niets in productie is meer dan één generatie achter op de huidige. Die regel geldt sinds 2022.
Ryzen 9 9950X, Zen 5
16 cores, 32 threads, boost tot 5,7 GHz. Dit is de snelste single thread die we kunnen kopen, en single-threadsnelheid bepaalt nog steeds hoe snel een verzoek wordt afgerond op de meeste echte applicaties.
EPYC 9354P, Zen 4
32 cores en 64 threads op één socket, twaalf geheugenkanalen, registered ECC. Waar core-aantal, geheugencapaciteit en voorspelbaar NUMA-gedrag belangrijker zijn dan de piekklok, wint dit onderdeel.
Eén socket waar mogelijk
Cross-socket geheugentoegang is een latency-klif waar je niet uit kunt tunen. Alleen de grootste bare-metal-configuratie is dual-socket, en die is dual-socket omdat de klant expliciet om 64 cores vroeg.
Cores worden één keer toegewezen
Een core die aan jou is verkocht, wordt voor jou ingeroosterd. Geen burst-credits, geen overboekingsratio, geen steal-time die onder belasting verschijnt en verdwijnt voordat je er een screenshot van kunt maken.
Waarom niet de nieuwste server-silicium
De Zen 5-serverdelen staan in het lab en niet in de vloot. Wanneer ze de 9354P vervangen, verschijnt dat in de changelog met migratiedata, in plaats van als een zin op de voorpagina zes maanden voordat iemand er een kan kopen.
Geheugen, en waar ECC werkelijk zit
Geheugenfouten zijn niet zeldzaam; ze zijn alleen onzichtbaar totdat iets belangrijks subtiel fout gaat. Op de serverlijn wordt elke fout gecorrigeerd en geregistreerd.
EPYC-nodes dragen twaalf DDR5-4800 registered ECC-modules, één per kanaal, allemaal gevuld. Elk kanaal vullen gaat niet om capaciteit, maar om bandbreedte: een halfgevulde geheugenbus op een 32-core-onderdeel is een bottleneck die je voelt bij alles wat snel met RAM werkt.
Ryzen-nodes draaien DDR5-5600 zonder ECC, omdat het consumer-platform het niet aanbiedt in een vorm waar we op zouden vertrouwen. Dat wordt hier eerlijk vermeld in plaats van verborgen: als je workload foutcorrectie nodig heeft, begint de EPYC-lijn bij negenentachtig euro en bestaat daar precies voor.
Corrigeerbare fouten worden geteld
Een rank die in één dag meer dan een handvol correcties produceert, wordt gemarkeerd, en de module wordt bij het volgende onderhoudsvenster vervangen, of er nu iets misgaat of niet.
Niet-corrigeerbare fouten drainen de node
Instances migreren weg, de node verlaat de pool, en de DIMM wordt vervangen voordat hij terugkomt. Je kunt een live-migratie zien; je zou geen crash moeten zien.
Geen ballooning, geen page merging
Geheugen wordt één keer toegewezen en niet twee keer geteld. Same-page merging staat uit in de hele vloot, omdat het een side channel tussen tenants is en een prestatieclaim die onder echte belasting verdampt.
Capaciteit per node is bewust royaal
Een EPYC-node wordt geleverd met genoeg geheugen zodat het grootste plan dat hij host nog headroom overlaat. Nodes die tot de laatste gigabyte gevuld zijn, hebben geen plek voor een migratie als een buur moet verhuizen.
NVMe, endurance en de spare die niets doet
Elke schijf is een enterprise Gen4-onderdeel met power-loss-protection, wat een condensatorbank is die afrondt wat hij bevestigde wanneer de stroom uitvalt midden in een flush.
Een hot spare per node, idle, wachtend. Het is de goedkoopste verzekering in het gebouw.
Gespiegelde paren, altijd
Leesbewerkingen worden verdeeld over beide helften; schrijfopdrachten worden bevestigd vanuit beveiligde cache en landen op beide. Een enkele schijffout verandert het prestatieprofiel licht en verandert je beschikbaarheid helemaal niet.
Een hot spare per node
Eén schijf per node blijft ongebruikt en leeg. Wanneer een mirror een helft verliest, neemt de spare automatisch over en begint de rebuild voordat iemand de alert heeft gelezen.
Endurance-headroom, geen endurance-limieten
Algemene nodes gebruiken drives van klasse 1 DWPD; opslagnodes gebruiken 3 DWPD voor de schrijftier. Drives worden vervangen bij tachtig procent van de nominale levensduur in plaats van op het getal op het datasheet te worden gedraaid.
Nergens consumentendrives
Niet in de cache-tier, niet in de bulk-tier, niet in een node die iemand in 2021 snel heeft gebouwd en daarna vergeten. Consumenten-NVMe is elf seconden snel en daarna niet meer, wat in een laptop een prima afweging is.
Capaciteit wordt toegewezen, niet beloofd
Opslag wordt niet thin-provisioned over tenants. Staat in het plan 800 GB, dan bestaat er 800 GB op die node met jouw naam erop, en niemand anders kan erin groeien.
Wat er in elke nodeklasse zit
Vijf nodeklassen dragen de vijf productlijnen. Bulkopslag op de S-klasse is enterprise-SATA achter een NVMe-write-tier, het enige draaiende medium in de hele vloot.
| Klasse | CPU | Geheugen | NVMe | Netwerk | Voeding |
|---|---|---|---|---|---|
| R — Ryzen NVMe | Ryzen 9 9950X, 16C/32T | 128 GB DDR5-5600 | 2 × 3,84 TB gespiegeld, 1 spare | 2 × 10 GbE, LACP | 2 × 800 W, A en B |
| E — EPYC High-Memory | EPYC 9354P, 32C/64T | 12 × DDR5-4800 ECC RDIMM | 4 × 3,84 TB gespiegeld, 1 spare | 2 × 25 GbE, LACP | 2 × 1200 W, A en B |
| G — GPU | EPYC 9354P, 32C/64T | 256 GB ECC DDR5-4800 | 4 × 3,84 TB gespiegeld, 1 spare | 2 × 40 GbE, LACP | 2 × 2000 W, A en B |
| S — Opslag | EPYC 9354P, 32C/64T | 128 GB ECC DDR5-4800 | 2 × 3,84 TB write-tier, daarachter SATA-bulk | 2 × 25 GbE, LACP | 2 × 1200 W, A en B |
| BM — Bare Metal | Ryzen 9950X, of één of twee EPYC 9354P | 128 GB tot 1 TB | Tot 8 × 7,68 TB | 10 tot 40 GbE | 2 × 1200 W, A en B |
GPU-nodes geven hele fysieke kaarten door op PCIe 4.0 x16 zonder time-slicing; daarom is het vermogenscijfer wat het is. Twee kaarten in één instance zitten op dezelfde NUMA-node, omdat splitsen over sockets meer kost dan de tweede kaart oplevert.
Voedingen, en beheer dat niet op het internet zit
Twee van alles wat verdubbeld kan worden, en een beheernetwerk dat nog nooit een route naar de buitenwereld heeft gehad.
A- en B-voedingen, gescheiden paden
Twee voedingen per node op onafhankelijke distributie, elk groot genoeg om de hele machine alleen te dragen. Een voeding verliezen is een gelogde gebeurtenis en verder niets; dat bewijzen we op elke node tijdens de burn-in.
Accu, dan generator
Accu overbrugt de omschakeling; generatoren dekken de rest. De omschakeling wordt op elke locatie volgens schema getest, en een locatie die een test niet haalt, krijgt geen nieuwe nodes totdat hij er een haalt.
Geen tiernummer genoemd
Beoordelingen gelden voor gebouwen en voor de operators die ze in opdracht gaven, niet voor een huurder die een nummer herhaalt in marketingtekst. Wat we u per locatie vertellen, is de feedtopologie en het resultaat van de laatste overdrachttest.
Out-of-band op een eigen VLAN
Beheerinterfaces hebben geen openbare route en hebben die nooit gehad. Toegang gaat via een geverifieerde tunnel, wordt gelogd en is zowel voor u als voor ons beschikbaar.
Console inbegrepen, zonder extra kosten
Serieel en VNC naar uw instantie via die tunnel. Het werkt wanneer uw netwerkconfiguratie dat niet doet, wat het enige moment is waarop iemand het ooit wil.
IPMI op metal, inloggegevens per termijn
Bare-metal-klanten krijgen IPMI via een VPN met stroombediening, opstartvolgorde en virtuele media. Inloggegevens worden geroteerd wanneer een termijn eindigt, en de firmware van de controller wordt volgens onze planning gepatcht, niet volgens die van u.
Burn-in: drie dagen voordat het een klant ontmoet
Ongeveer één op de negen nodes faalt ergens op bij de eerste poging. Het is bijna altijd een enkele DIMM.
- 01
Firmware naar een bekende basislijn
Systeem-, controller-, netwerk- en schijffirmware worden vastgezet op de versies die de vloot draait voordat een test mag starten. Een node die op de verkeerde firmware is getest, heeft niets nuttigs getest.
- 02
Geheugen, uitgebreid
Meerdere volledige passes over elke gevulde module, uren in plaats van minuten. Deze fase vangt het meeste van wat burn-in vangt, en het is de reden dat het schema in dagen wordt gemeten.
- 03
Thermische soak
Elke kern op volledige belasting gedurende zes uur met de inlaat aan het warme einde van zijn bereik. We kijken naar het verval van aanhoudende boostklokken, niet alleen naar temperatuur, omdat een node die in uur vijf thermisch throttle, dat bij u in maand drie zou doen.
- 04
Volledige oppervlakteopslagverificatie
Elke schijf volledig beschreven, teruggelezen en vergeleken. SMART-counters aan het einde van deze fase worden de basislijn waartegen de schijf voor de rest van zijn leven wordt beoordeeld.
- 05
Lijnsnelheid, beide richtingen tegelijk
Elke poort een uur lang in beide richtingen tot capaciteit gedreven, met switch-side-counters gecontroleerd op fouten die de host nooit zou opmerken.
- 06
Trek een feed, dan de andere
Een feed verwijderd, hersteld, dan hetzelfde aan de andere kant. Elke node die ook maar knippert, gaat niet in dienst.
- 07
Een rustige dag in de vloot
Vierentwintig uur in monitoring zonder instanties. Daarna begint het klanten te ontvangen.
De totale verstreken tijd is ongeveer 72 uur. Het is ook de reden dat voorraad op een nieuwe locatie in batches verschijnt in plaats van druppelsgewijs: een rack arriveert, en drie dagen later is alles tegelijk beschikbaar.
Wanneer een schijf begint te falen
Schijven sterven meestal niet plotseling. Ze kondigen het dagenlang aan in counters die niemand leest, en daarom worden de onze elke vijf minuten gelezen.
- 01
Drempels, geen lofredenen
Mediafouten, opnieuw toegewezen sectoren, slijtageniveau en latentie-uitschieters worden continu bemonsterd. Een schijf die een drempel overschrijdt, wordt gemarkeerd voor vervanging terwijl hij nog perfect werkt.
- 02
De reserve neemt eerst over
De hot spare wordt in de mirror gebracht voordat de gemarkeerde schijf wordt verwijderd, zodat het paar nooit als enkele kopie draait terwijl iemand op een technicus wacht.
- 03
Rebuild, opzettelijk beperkt
Een 3,84 TB mirror zou in ongeveer veertig minuten op volle snelheid kunnen rebuilden. We laten het langzamer lopen, over ongeveer twee uur, omdat rebuilden op volle snelheid niet te onderscheiden is van een prestatie-incident voor de instanties op die node.
- 04
U wordt geïnformeerd en er verandert niets anders
Een notitie verschijnt op de instantiepagina. Geen herstart, geen migratie, geen onderhoudsvenster en geen ticket waarop u moet antwoorden.
- 05
De schijf vertrekt in stukken
Defecte en uitgefaseerde schijven worden ter plaatse vernietigd in plaats van geretourneerd voor garantiekrediet. Het krediet is minder waard dan de zekerheid.
Een mirror is redundantie, geen back-up. Het beschermt je tegen een schijf, niet tegen een slechte migratie of een enthousiaste delete. Snapshots kosten vijf euro voor vijf slots en off-node backup negen euro per 500 GB, weggeschreven naar een andere locatie dan de instantie.
Hardwarevragen
Nee. Ryzen-nodes draaien non-ECC DDR5-5600, en dat zeggen we liever hier dan dat je het later uit een datasheet moet ontdekken. Alles waar stille geheugencorruptie onacceptabel is, hoort op EPYC.
Ja, en het is controleerbaar. Draai om drie uur 's nachts een sustained single-core benchmark en nog eens op piekmomenten; de cijfers mogen niet bewegen. Als ze dat wel doen, open dan een ticket, want er is iets mis en we zouden het willen weten.
Niet bij naam, maar je kunt anti-affiniteit vragen: twee instanties van jou op aparte nodes, aparte switches en aparte stroomvoorzieningen. Het kost niets en het kost één ticket.
Waar het werk het toelaat, migreren instanties live en zie je een paar honderd milliseconden pauze. Anders krijg je minimaal vijf dagen van tevoren bericht, met een venster dat je een keer kunt verplaatsen als het timing-moment voor jou verkeerd valt.
Nee. Cores, geheugen en NVMe worden elk één keer toegewezen. Het enige gedeelde is de uplink, daarom wordt het fair-use-cijfer gepubliceerd in plaats van geïmpliceerd.
Elke node in productie draait Zen 4 of Zen 5. De laatste van de vorige generatie verliet de vloot in 2022, en er is sindsdien niets op oudere silicium verkocht.
Zelfde hardware, vierendertig steden
De nodespecificatie verandert niet met de vlag op het gebouw. Kies de jurisdictie en de latentie die je wilt, kies dan de grootte.