Superkomputer LUMI - szybszy od najszybszego i dostępny przez Cyfronet AGH

Superkomputer LUMI - nowe możliwości dla europejskiej nauki i gospodarki

Jeden z najszybszych superkomputerów na świecie, LUMI, zacznie działać w centrum danych CSC w Kajaani w Finlandii w roku 2021. Szczytowa wydajność LUMI to zdumiewające 552 petaflopsów. Jak dotąd najszybszy komputer świata, Fugaku w Japonii, osiąga szczytową wydajność 537 petaflopsów. Kiedy LUMI rozpocznie działalność, będzie jednym z najszybszych superkomputerów na świecie.

LUMI to unikalna inicjatywa europejska związana z superkomputerami, obejmująca dziesięć krajów europejskich i Wspólne Przedsięwzięcie EuroHPC (EuroHPC JU) inwestujące w jeden wspólny system. Ma przyspieszyć badania, a tym samym zwiększyć konkurencyjność rozwiązań pochodzących z Europy. Proces zakupu LUMI został zakończony, a dostawcą systemu jest firma Hewlett Packard Enterprise (HPE), która dostarcza superkomputer HPE Cray EX z procesorami AMD EPYC™ nowej generacji i procesorami graficznymi AMD Instinct™. Oprócz niezwykłej mocy obliczeniowej LUMI jest również jedną z najbardziej zaawansowanych platform sztucznej inteligencji na świecie i przez cały okres swojego działania będzie jednym z najbardziej znanych instrumentów naukowych na świecie.

- Dla Cyfronetu to duże wyzwanie. Zostaliśmy obdarzeni dużym zaufaniem zorganizowania dostępu dla polskich naukowców do jednego z najszybszych superkomputerów świata. Po uruchomieniu w 2021 roku superkomputer LUMI będzie jednym z najbardziej konkurencyjnych i ekologicznych superkomputerów na świecie! Będzie wspierał europejskich naukowców, przemysł i sektor publiczny w lepszym zrozumieniu złożonych wyzwań i reagowaniu na nie oraz w przekształcaniu ich w możliwości innowacji w sektorach takich jak zdrowie, prognozowanie pogody lub planowanie przestrzeni miejskich i wiejskich. Musimy też rozstrzygnąć wiele problemów prawnych, np. sprawę pomocy publicznej przy udostępnianiu jego mocy obliczeniowej dla gospodarki – mówi dyrektor Cyfronetu prof. Kazimierz Wiatr

Architektura systemu LUMI

• System LUMI zostanie dostarczony przez Hewlett Packard Enterprise (HPE) i będzie oparty na superkomputerze HPE Cray EX.
• Maksymalna wydajność LUMI to 552 PFlops, co oznacza 552*10¹⁵ operacji zmiennoprzecinkowych na sekundę. Ta liczba sprawia, że LUMI będzie jednym z najszybszych superkomputerów na świecie. Dla porównania, obecnie najszybszy komputer świata (Fugaku w Japonii) osiąga 513 petaflopów/s, a drugi najszybszy (Summit w USA) 200 petaflopów/s (więcej informacji: www.top500.org). Aby osiągnąć moc obliczeniową LUMI za pomocą zwykłych laptopów, trzeba by ich wykorzystać łącznie 1,5 miliona. Gdyby te laptopy zostały ułożone w stos, utworzyłyby wieżę o wysokości ponad 23 kilometrów.
• LUMI będzie również jedną z najbardziej zaawansowanych platform sztucznej inteligencji (AI) na świecie. Dzięki LUMI możliwe będzie połączenie sztucznej inteligencji, zwłaszcza Deep Learning, oraz tradycyjnych symulacji i analiz danych w wielkiej skali w celu rozwiązania jednego problemu badawczego.
• Możliwości obliczeniowe LUMI są przyspieszone przez partycję GPU (Graphics Processing Unit). Opiera się ona na procesorach graficznych przyszłej generacji AMD Instinct ™.
• LUMI zostanie uzupełnione partycją CPU (Central Processing Unit), zawierającą 64-rdzeniowe procesory AMD EPYC ™ nowej generacji.
• Partycja analizy danych LUMI ma 32 zagregowane terabajty pamięci i 64 procesory graficzne do wizualizacji. Ta partycja jest używana np. do wizualizacji, analizy dużych ilości danych, tworzenia siatki i przetwarzania wstępnego / końcowego.
• System przechowywania danych LUMI będzie składał się z trzech elementów. Pierwszym z nich będzie 7-petabajtowa partycja ultraszybkiej pamięci flash, połączona z bardziej tradycyjną pamięcią o pojemności 80 petabajtów, opartą zarówno o system plików Lustre, jak i usługę zarządzania danymi bazującą na Ceph i mającą objętość 30 petabajtów.
• Łącznie LUMI osiągnie pojemność 117 petabajtów i imponującą łączną przepustowość odczytu/zapisu danych rzędu 2 terabajtów na sekundę.
• LUMI będzie również posiadać platformę kontenerową OpenShift/Kubernetes do uruchamiania mikro usług w chmurze.
• Wszystkie partycje obliczeniowe i magazynowe są ze sobą połączone przy wykorzystaniu łącza Cray Slingshot o przepustowości 200 Gbit/s. Całkowita przepustowość partycji LUMI-GPU wynosi 160 TB/s. Globalny ruch internetowy zmieściłby się w niej dwa razy.
• LUMI zajmuje ponad 150 m² powierzchni, czyli mniej więcej tyle, ile wynosi wielkość kortu tenisowego. Waga systemu to blisko 150 ton.

LUMI dostępny dla polskich naukowców poprzez Cyfronet AGH

ACK Cyfronet AGH reprezentuje Polskę w konsorcjum LUMI. Dzięki wkładowi finansowemu państwa oraz współpracy naszych specjalistów, polscy naukowcy będą mogli skorzystać z zasobów superkomputera do prowadzenia badań bazujących na obliczeniach wielkiej skali, równoległym przetwarzaniu olbrzymich zbiorów danych i wieloaspektowych analizach, również z wykorzystaniem sztucznej inteligencji. Pozwoli to na rozwiązywanie problemów badawczych, dla których obecne superkomputery były niewystarczające. Od 1.09.2020 ACK Cyfronet AGH pełni rolę Narodowego Centrum Kompetencji EuroHPC. Głównym zadaniem takich Centrów będzie wsparcie badań naukowych w przemyśle z udziałem przedstawicieli środowiska akademickiego oraz przy wykorzystaniu dostarczanych przez superkomputery EuroHPC zasobów obliczeniowych. Kluczowym aspektem wsparcia przemysłu będzie również transfer wiedzy w zakresie wykorzystania zasobów superkomputerów, poszukiwanie i kojarzenie partnerów w zakresie wspólnych prac badawczych przemysłu i nauki, skalowanie problemów badawczych i oprogramowania do wymogów eksaskali oraz szkolenia i rozwój umiejętności technicznych w zakresie prowadzenia obliczeń w wielkiej skali. Cyfronet będzie koordynował polskie działania, współpracując z Centrami Komputerów Dużej Mocy, tj. PCSS, ICM, WCSS, CI TASK i NCBJ, stanowiącymi Konsorcjum PLGrid, którego inicjatorem i liderem jest ACK Cyfronet AGH. Portal infrastruktury PLGrid będzie bramą dostępową do zasobów LUMI, a Centrum Operacyjne Cyfronetu będzie istotnym wsparciem dla polskich użytkowników LUMI. ACK Cyfronet AGH będzie też organizował konkursy, które będą rozstrzygane przez ogólnopolski panel ekspertów. W celu wypełnienia misji postawionej przed Centrami Kompetencji, Cyfronet stanie się także ośrodkiem eksperckim współpracy środowiska naukowego z sektorem przedsiębiorstw.

Szczegóły dotyczące dostępu do LUMI znajdują się na stronie: www.cyfronet.pl/lumi.

Europejskie Wspólne przedsięwzięcie EuroHPC

Wspólne przedsięwzięcie EuroHPC zostało utworzone na mocy rozporządzenia Rady (UE) 2018/1488 w 2018 r. Obecnie w tej inicjatywie uczestniczą 32 kraje europejskie, które wspólnie z UE i partnerami prywatnymi łączą swoje zasoby, aby UE stała się światowym liderem w dziedzinie obliczeń superkomputerowych. Misją wspólnego przedsiębiorstwa EuroHPC jest rozwijanie, wdrażanie, rozszerzanie i utrzymywanie zintegrowanej światowej klasy infrastruktury superkomputerowej i infrastruktury danych w UE oraz rozwijanie i wspieranie wysoce konkurencyjnego i innowacyjnego ekosystemu HPC. Wspólne przedsięwzięcie EuroHPC ma na celu wyposażenie UE w 2021 r. w infrastrukturę petaskalową (zdolną do wykonania co najmniej 10¹⁵ obliczeń na sekundę) i stworzenie prekursora superkomputerów eksaskalowych (zdolnych do wykonania co najmniej 10¹⁷ obliczeń na sekundę) oraz opracowanie niezbędnych technologii i aplikacji do osiągnięcia pełnych możliwości eksaskalowych około roku 2022/2023.

- Dynamika zmian w cyfryzacji wszystkiego oraz zastosowanie metod sztucznej inteligencji wszędzie, szczególnie w gospodarce, stają się faktem. W tym wyścigu Europa stara się dotrzymać tempa. Dziś wykonujemy ważny krok naprzód w realizacji europejskiej strategii w zakresie obliczeń wielkiej skali. Superkomputer przedeksaskalowy, którego operatorem jest konsorcjum LUMI, będzie jednym z 5-ciu najlepszych na świecie. Wraz z innymi przedeksaskalowymi i petaskalowymi superkomputerami EuroHPC, które zostaną wdrożone w 2021 r., superkomputer LUMI pomoże europejskim naukowcom i prywatnym użytkownikom w rozwiązywaniu wielu zniechęcających problemów związanych z badaniami i innowacjami w różnych obszarach, od pogody i zmian klimatycznych, przez cyberbezpieczeństwo, po wytwarzanie leków i medycynę spersonalizowaną – mówi dr Mariusz Sterzel, Kierownik Laboratorium Obliczeń Kwantowych w Cyfronecie i przedstawiciel Polski w europejskiej Radzie EuroHPC.

Grafika: Szkic projektu wizualnego LUMI, superkomputera HPC Cray EX. Copyright: Hewlett Packard Enterprise.