Prometheus na 288. miejscu listy TOP500 - najszybszych superkomputerów świata

Prometheus na 288. miejscu listy TOP500 - najszybszych superkomputerów świata

22 czerwca 2020 roku, w czasie konferencji ISC High Performance 2020 Digital, ogłoszono najnowszą listę TOP500. Prometheus Cyfronetu znalazł się na liście najszybszych superkomputerów świata po raz 11., zajmując wysokie, 288. miejsce.

Prometheus – najszybszy polski superkomputer

Pracujący w ACK Cyfronet AGH Prometheus od momentu uruchomienia w 2015 pozostaje najszybszym superkomputerem w Polsce. Ten tytuł zapewniła mu moc obliczeniowa 2,65 PFlops (PetaFlops), której osiągnięcie było możliwe przede wszystkim dzięki użyciu wydajnych serwerów platformy HP Apollo8000 i połączeniu ich superszybką siecią InfiniBand o przepustowości 56 Gb/s. Superkomputer posiada 53.748 rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell oraz Intel Skylake) oraz 283,5 TB pamięci operacyjnej w technologii DDR4. Do Prometheusa dołączone są dwa systemy plików o łącznej pojemności 10 PB i szybkości dostępu 180 GB/s. Wyposażony jest również w karty NVIDIA Tesla z procesorami graficznymi GPGPU. Prometheus został zbudowany przez firmę Hewlett-Packard zgodnie z założeniami opracowanymi przez ekspertów Cyfronetu.

Dla zobrazowania szybkości pracy Prometheusa można powiedzieć, że w celu dorównania jego możliwościom, należałoby wykorzystać moc obliczeniową ponad 50 000 najwyższej klasy komputerów osobistych PC w najmocniejszej konfiguracji, dodatkowo połączonych superszybką siecią i zarządzanych specjalnym oprogramowaniem – mówi prof. Kazimierz Wiatr, Dyrektor ACK Cyfronet AGH.

Architektura superkomputera Prometheus odpowiada na zróżnicowane potrzeby naukowców dostarczając zasobów zorganizowanych w partycjach:

  • klasycznych serwerów obliczeniowych, z wysoko wydajnymi procesorami Intel Xeon Haswell i Intel Xeon Gold,
  • zestawu serwerów z procesorami graficznymi NVIDIA K40 XL,
  • partycji akceleracyjnej z kartami GPGPU NVIDIA K80 oraz akceleratorami Intel Xeon Phi i Nallatech FPGA,
  • zestawu serwerów przeznaczonych do realizacji obliczeń w środowisku chmurowym,
  • partycji dedykowanej dla obliczeń związanych ze sztuczną inteligencją, wyposażonej w akceleratory graficzne GPGPU NVIDIA Tesla V100. Warto wspomnieć, że partycja ta stanowi system o mocy obliczeniowej ponad 4 PFlops dla operacji tensorowych i 256 TFlops dla standardowych obliczeń wykonywanych na liczbach podwójnej precyzji, co czyni go najszybszym dedykowanym rozwiązaniem dla sztucznej inteligencji dostępnym dla potrzeb nauki w Polsce.

Prometheus został zainstalowany w nowoczesnej hali komputerowej Cyfronetu, specjalnie przystosowanej do jego eksploatacji. Prawidłowe funkcjonowanie superkomputera zapewniają ważne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania z dodatkowym agregatem prądotwórczym oraz nowoczesnymi systemami klimatyzacji technologicznej i gaszenia gazem.

Prometheus – najszybszy i najbardziej zielony

Superkomputer Prometheus, zbudowany według założeń opracowanych przez ekspertów Cyfronetu, w momencie uruchomienia w 2015 r. był pierwszą w Europie i jedną z największych na świecie instalacji opartych o technologię bezpośredniego chłodzenia cieczą. Po kilku latach eksploatacji nadal jest jednym z najbardziej energooszczędnych komputerów swojej klasy (142 miejsce na światowej liście Green500, czerwiec 2020 r.).

Prometheus posiada nowatorski system chłodzenia cieczą. Dzięki tej technologii jest jednym z najbardziej energooszczędnych superkomputerów tej klasy na świecie. Dla utrzymania odpowiedniej temperatury cieczy chłodzącej w naszym klimacie wystarczają tańsze w eksploatacji wymienniki ciepła (ang. dry-cooler), zamiast konsumujących duże ilości energii elektrycznej generatorów wody lodowej oraz klasycznych klimatyzatorów technologicznych. Cieczą chłodzone są zarówno procesory CPU, GPGPU jak i moduły pamięci przy pomocy specjalnego hermetycznego systemu rurek cieplnych (ang. heat pipes) i stykowego przekazu ciepła pomiędzy serwerami i układem, w którym krąży ciecz. Same serwery pozostają "suche" – można je w każdej chwili wyjąć bez niebezpieczeństwa wycieku cieczy w układzie chłodzenia. Chłodzenie cieczą umożliwiło osiągnięcie bardzo wysokiej gęstości instalacji – aż 144. serwerów obliczeniowych w pojedynczej szafie.

Efektywność energetyczna Prometheusa dorównuje systemom największych centrów danych na świecie, takich jak Google, Amazon czy Facebook. Co więcej, chłodzenie cieczą umożliwia ekstremalnie wysoką gęstość instalacji, dzięki czemu ważąca ponad 40 ton część obliczeniowa zajmuje powierzchnię tylko 18 m2 i mieści się zaledwie w 20 szafach. By osiągnąć analogiczne moce obliczeniowe, poprzednik Prometheusa, Zeus, musiałby zajmować aż 160 szaf. Poprzednikiem Zeusa był umieszczony w 8 szafach Baribal o mocy obliczeniowej 1,5 TFlops (TeraFlops) – Prometheus zbudowany w tamtej technologii zajmowałby ponad 12 000 szaf! – podkreśla Dyrektor Cyfronetu.

Zeus wsparciem dla Prometheusa

Nieprzerwanie od roku 2008 w Cyfronecie pracuje superkomputer Zeus. Od momentu instalacji był on dwunastokrotnie z rzędu notowany na liście TOP500, w tym czterokrotnie z rzędu z lokatą wśród pierwszych 100. najszybszych superkomputerów świata (najwyżej na 81. pozycji) i dziesięciokrotnie jako najszybszy w Polsce. Po raz ostatni Zeus znalazł się na liście TOP500 w listopadzie 2015 r. na 387. miejscu. Wówczas na tej liście znalazły się aż dwa superkomputery z Cyfronetu. Prometheus zajął wtedy 38. miejsce. Heterogeniczna architektura superkomputera zbudowana z czterech dedykowanych partycji sprzętowych udostępnia 25.468 rdzeni obliczeniowych oraz 204 procesory GPGPU o łącznej mocy obliczeniowej 374 TFlops. Użytkownicy mają do dyspozycji 60 TB pamięci operacyjnej RAM oraz pamięć dyskową o pojemności 2,3 PB. Serwery Zeusa połączone są za pomocą szybkiej sieci Infiniband o przepustowości 40 Gb/s.

Warto podkreślić, że nawet najwyższe lokaty w zestawieniu TOP500, czy też najnowocześniejsze technologie wykorzystane do budowy komputerów dużej mocy, nie oddają w pełni znaczenia tego rodzaju zasobów obliczeniowych dla polskiego środowiska naukowego. O użyteczności superkomputerów udostępnianych przez ACK Cyfronet AGH jako narzędzia prowadzenia prac naukowo-badawczych najlepiej świadczą dane statystyczne dotyczące ich wykorzystywania. W 2019 roku dwa najwydajniejsze superkomputery ACK Cyfronet AGH – Zeus i Prometheus, wykonały 4.993.639 zadań obliczeniowych o łącznym czasie trwania 44.027 lat.

Superkomputer Prometheus w walce z koronawirusem

Granty obliczeniowe poświęcone badaniom nad koronawirusem SARS-CoV-2 oraz wywoływaną przez niego chorobą COVID-19 mają pierwszeństwo w kolejce dostępu do zasobów Prometheusa i uzyskują najwyższy priorytet w uruchamianiu. Ponad 53 tysiące rdzeni obliczeniowych zespolonych w jednej maszynie oraz infrastruktura towarzysząca pozwalają na szybkie przetwarzanie dużych ilości danych medycznych, biologicznych i chemicznych. Badane są m.in. przeciwciała obecne w czasie zakażenia, cząsteczki wykazujące potencjalne działanie hamujące infekcję oraz możliwości rozwoju szczepionek. Część mocy obliczeniowej Prometheusa jest udostępniona w ramach partnerstwa europejskiego PRACE do przeprowadzenia pan-europejskiego hackatonu mającego na celu wypracowanie nowych rozwiązań w walce z koronawirusem. Cyfronet udostępnia również zasoby w ramach federacji EGI – rozproszonej infrastruktury obliczeniowej, która skupia zasoby ponad 250 jednostek z całego świata. Federacja EGI wspólnie z amerykańską organizacją Open Science Grid (OSG) połączyły siły, by wspierać projekty badawcze dotyczące COVID-19. Dodatkowo za pośrednictwem rozwijanego przez Cyfronet portalu EOSC (European Open Science Cloud) dostępne jest stworzone na Uniwersytecie w Utrechcie narzędzie Haddock, które służy modelowaniu biomolekularnemu. ACK CYFRONET AGH uczestniczy również w projekcie EOSC Synergy, w ramach którego udostępniono zasoby chmury obliczeniowej na rzecz walki z wirusem.

Obliczenia naukowe z różnych dziedzin

Prometheus i Zeus są częścią europejskiej chmurowej i gridowej infrastruktury w ramach Europejskiej Infrastruktury Gridowej (EGI). Jednocześnie, Prometheus i Zeus są ważnymi superkomputerami w ogólnopolskiej infrastrukturze obliczeniowej PLGrid – platformie umożliwiającej prowadzenie badań naukowych in silico i wykonywanie obliczeń na komputerach dużej mocy, także w architekturze chmurowej i gridowej.

Dzięki infrastrukturze PLGrid możliwe jest intensywne wykorzystanie mocy obliczeniowych Prometheusa i Zeusa przez naukowców. Dedykowane środowiska obliczeniowe, tzw. gridy dziedzinowe, oraz specjalistyczne platformy informatyczne umożliwiają efektywną realizację coraz bardziej złożonych problemów obliczeniowych.

Naukowcy prowadzący badania z wykorzystaniem infrastruktury Cyfronetu reprezentują wiele dziedzin. Zaawansowane modelowanie i obliczenia numeryczne są wykorzystywane głównie w zakresie: fizyki, chemii, biologii, medycyny i technologii materiałowej, a także astronomii, geologii, ochrony środowiska. Tematy badawcze dotyczą między innymi: modelowania dyspersji zanieczyszczenia, opracowania modelu numerycznego rozchodzenia się ciepła w atmosferze ziemskiej, struktury elektronowej i transportu jonów w materiałach tlenkowych czy nadprzewodnictwa w wybranych układach fizycznych. Naukowcy prowadzą również m.in. badania konformacji wybranych enzymów za pomocą symulacji dynamiki molekularnej, analizy połączeń klejonych w konstrukcjach stalowych, badania balistyki wewnętrznej hybrydowych silników rakietowych oraz badania właściwości elektronowych i transportowych nowych materiałów magnetycznych. Dzięki superkomputerom w Cyfronecie polscy uczeni mogą uczestniczyć w ważnych projektach międzynarodowych, w tym w eksperymentach CTA, LOFAR, EPOS, Wielkiego Zderzacza Hadronów w CERNie oraz niedawno odkrytych fal grawitacyjnych w detektorach LIGO i VIRGO.

Wykorzystaj moc superkomputerów w badaniach naukowych

Superkomputery umożliwiają znaczące skrócenie czasu wykonywania obliczeń, które przy użyciu pojedynczych komputerów często zajęłyby wiele lat (w konkretnych rzeczywistych przypadkach ponad 150, 700 czy nawet 1000 lat), a tu mogą być wykonane najczęściej w ciągu zaledwie kilku dni. Użytkownicy Cyfronetu mogą korzystać z profesjonalnego wsparcia – od dostępu do pełnej dokumentacji, poprzez szkolenia, aż po indywidualne konsultacje z ekspertami. Informacje dotyczące korzystania przez naukowców z zasobów Prometheusa i Zeusa znajdują się na http://www.cyfronet.pl i http://www.plgrid.pl. Warto zarejestrować się w Portalu PLGrid http://portal.plgrid.pl i korzystać z wielu udostępnianych unikatowych usług.

Polska na tle Europy i świata

Najszybszym superkomputerem na świecie został ogłoszony Supercomputer Fugaku z Japonii, którego moc obliczeniowa wynosi ponad 513 PFlops. Na liście TOP500 wyraźnie dominują superkomputery z Chin (226 jednostek). Drugie miejsce zajmują USA (114 jednostek).

Państwa europejskie, których superkomputery znalazły się na liście (15 krajów wliczając Rosję), zajęły łącznie 96 lokat. Najszybszy europejski superkomputer to HPC5 z Włoch, który uplasował się na 6. pozycji. W pierwszej dziesiątce listy znalazł się również kolejny superkomputer z Włoch, Marconi-100, na 9. pozycji oraz Piz Daint ze Szwajcarii, na 10. pozycji. Wiodącą rolę, jeśli chodzi o liczbę superkomputerów z listy TOP500, zajmują w Europie: Francja (19 jednostek), Niemcy (16 jednostek) i Holandia (15 jednostek).

Podobnie jak w poprzedniej edycji listy TOP500, Prometheus nadal pozostaje jedynym superkomputerem z Polski.

Fot. Adam Frączek – KSAF AGH