Od stycznia każdy węzeł w flocie przechodzi na najnowszą generację układów: EPYC 9004 w liniach serwerowych i magazynowych, Ryzen 7000 w linii ogólnej. Plan obejmuje około dziewięciu miesięcy. Po jego zakończeniu żadne starsze niż obecna generacja urządzenie nie będzie obsługiwać obciążeń klientów.
To największa operacja, jaką kiedykolwiek przeprowadziliśmy na działającej flocie, i warto ją wyjaśnić przed rozpoczęciem, a nie po fakcie.
Dlaczego teraz
Obecna flota to mieszanka dwóch poprzednich generacji, co było do obrony w 2020 roku, ale przestało takie być w zeszłym roku. Trzy rzeczy zmieniły się jednocześnie: DDR5 z ECC stała się dostępna w pojemnościach wymaganych przez linię serwerową, przepustowość pamięci na gniazdo wzrosła na tyle, by mieć znaczenie dla klientów ograniczonych pamięcią, a wydajność na rdzeń starszych części przestała być czymś, co chcieliśmy publikować obok ceny.
Jest też mniej ekscytujący powód. Flota składająca się z trzech generacji wymaga trzech zestawów części zamiennych, trzech procedur kwalifikacyjnych i trzech zestawów oprogramowania układowego do śledzenia. Konsolidacja do jednej eliminuje całą kategorię niespodzianek o drugiej w nocy.
Kolejność
Najpierw Amsterdam, ponieważ wszystko najpierw trafia do AMS-01 i zawsze tak było. Potem Frankfurt, Londyn i Nowy Jork, następnie pozostałe lokalizacje w Europie, potem Azja-Pacyfik, a na końcu Ameryki. Mniej więcej czternaście węzłów tygodniowo, gdy proces się ustabilizuje, mniej na początku, gdy dowiadujemy się, co poszło źle.
Lokalizacje otwierane w trakcie migracji od razu działają na nowej generacji i nigdy nie widzą starej.
Czego doświadczysz
Migracja na żywo tam, gdzie obciążenie na to pozwala. Większość instancji przenosi się między hostami z pauzą mierzoną w setkach milisekund. Zobaczysz to na wykresie, jeśli patrzysz, a w przeciwnym razie nie.
Planowany restart tam, gdzie nie pozwala. Instancje korzystające z przepuszczania GPU, niestandardowych jąder z przypisanymi urządzeniami lub czegokolwiek, co trzyma stan sprzętu, nie mogą być przenoszone na żywo. Te otrzymują okno.
Pięć dni roboczych powiadomienia e-mailem z konkretnym oknem. Nie miesiąc ogólników. Jeśli nie dotrzymamy ogłoszonego okna, kredyt SLA zostanie zastosowany automatycznie, bez konieczności otwierania zgłoszenia.
Brak zmiany ceny. Nowa generacja kosztuje tyle samo, co stara. Nie sprzedajemy dodatkowej opłaty za generację i nie trzymamy starego sprzętu po zniżce dla klientów, którzy nie przeczytali e-maila. Opuszcza budynek.
Jedna rzecz do sprawdzenia
Zestaw funkcji procesora się zmienia, a AVX-512 jest obecne w nowych częściach serwerowych, gdzie wcześniej go nie było. Kompiluj z detekcją funkcji i nic się nie dzieje. Jeśli przypiąłeś build do konkretnego zestawu flag lub uruchamiasz kod numeryczny, który na starcie rozdziela zadania na podstawie wykrytych funkcji, przetestuj przed swoim oknem, a nie po nim.
Dokładne różnice we flagach podamy w powiadomieniu o migracji dla Twojej lokalizacji. Około jeden klient na dwustu musi cokolwiek zrobić, a ci, którzy muszą, już wiedzą, kim są.
Co już poszło nie tak
Partia zarejestrowanych modułów ECC DDR5 dla pierwszych czterech węzłów serwerowych trenowała z niższą prędkością niż specyfikacja i zajęło dziewięć dni ustalenie, że to moduły, a nie płyty, były winne. Te dziewięć dni to powód, dla którego to ogłoszenie jest w grudniu, a nie w październiku.
Dostawy to ryzyko dla całego planu. Pamięć serwerowa w tych pojemnościach nie jest czymś, co można zdobyć na krótką metę, a jeśli harmonogram się opóźni, będzie to z powodu pamięci, a nie czegoś, co kontrolujemy. Powiemy o tym tutaj, jeśli tak się stanie.
Czego nie robimy
Nie oferujemy rezygnacji. Flota z długim ogonem klientów, którzy odmówili przeniesienia, to flota ze starą generacją na zawsze, a ogon staje się czymś, czego nikt nie chce utrzymywać. Wszystko się przenosi.
Nie wykorzystujemy też tej okazji do zmiany specyfikacji planów. Te same rdzenie, ta sama pamięć, to samo miejsce, na szybszym krzemie, w tej samej cenie. Każda zmiana zawartości planu będzie osobnym ogłoszeniem z własnym uzasadnieniem, ponieważ łączenie zmiany specyfikacji z migracją sprzętu to sposób, w jaki klienci przestają ufać powiadomieniom o migracji.