Pamięć dyskowa

Odpowiednie skorelowanie projektu architektury infrastruktury obliczeniowej z właściwym doborem technologii rozwiązań składowania danych pozwala zoptymalizować usługi świadczone na rzecz użytkowników naukowych. Skala problemów w tym obszarze rośnie wraz ze złożonością i wydajnością eksploatowanych superkomputerów − obecnie systemy składowania danych dołączone do superkomputerów Cyfronetu przechowują ponad 500 000 000 plików o rozmiarach sięgających nawet kilku terabajtów. Szeroki zakres tematyczny prac badawczych realizowanych na zasobach udostępnianych przez Cyfronet znajduje swoje odbicie w różnorodności konfiguracji kluczowych superkomputerów Centrum, a przez to również w konfiguracji dedykowanych im zasobów pamięci masowej.

Najczęściej wykorzystywanym typem przestrzeni dyskowej są zasoby przeznaczone dla przechowywania katalogów domowych użytkowników. Przestrzeń tego rodzaju musi charakteryzować się bardzo wysokim poziomem dostępności oraz bezpieczeństwa danych, zwiększanego przez kopie migawkowe i zapasowe na zewnętrzne biblioteki taśmowe. Superkomputery Zeus i Prometheus oferują swoim użytkownikom uzyskanie opisanych funkcjonalności dzięki zastosowaniu specjalizowanych serwerów plików (tzw. głowic plikowych) HNAS. Serwery te wspierają sprzętowe implementacje protokołu NFS, zapewniając bardzo wysoką wydajność, a także wysoką dostępność systemów plików. Głowice HNAS współpracują z macierzami dyskowymi Hitachi Data Systems AMS 2500 oraz HUS 150, służącymi jako repozytoria fizycznej przestrzeni dyskowej. Również i te urządzenia zapewniają niezwykle wysoki poziom bezpieczeństwa i wydajności, wynikający ze specyficznej charakterystyki danych przechowywanych w katalogach domowych.

W superkomputerach stosuje się także wydajną przestrzeń tymczasową, tzw. scratch. Tu kluczowym elementem jest szybkość działania, dlatego jest ona oparta na bardzo szybkiej architekturze rozproszonego systemu plików – Lustre. Zaletą Lustre jest możliwość skalowania pojemności jak i wydajności przestrzeni dyskowej. W wyniku łączenia pojemności wielu serwerów, przepustowość I/O jest również agregowana i skaluje się z dodatkowymi serwerami. Ponadto, przepustowość i/lub pojemność może być łatwo zwiększona poprzez dynamiczne dodawanie większej liczby serwerów, bez konieczności przerywania obliczeń użytkowników. Obecnie w Cyfronecie wszystkie superkomputery korzystają z przestrzeni scratch realizowanych przez Lustre. W przypadku Zeusa jest to system plików o pojemności niemal 600 TB i szybkości 12 GB/s, natomiast scratch Prometheusa charakteryzuje się pojemnością 5 PB i szybkością 120 GB/s, co czyni go najszybszym systemem plików w Polsce. Dodatkowo, dla zadań wymagających bardziej zawansowanego dostępu do zasobów dyskowych, możliwe jest użycie szybkiego dysku RAM, dostarczonego przez partycję vSMP superkomputera Zeus.

Większa część zasobów pamięci dyskowej Cyfronetu jest przeznaczona dla potrzeb użytkowników usług dziedzinowych rozwijanych w programie PLGrid. Infrastruktura PLGrid oferuje dedykowaną przestrzeń roboczą dla grup korzystających z usług dziedzinowych – funkcjonalność niezbędną do umożliwienia współpracy między naukowcami pracującymi w rozproszonych geograficznie lokalizacjach. Na Zeusie tego typu przestrzeń, o pojemności niemal 200 TB, dostarczana jest za pomocą głowic HNAS i protokołu NFS, natomiast Prometheus realizuje podobną funkcjonalność za pomocą systemu plików Lustre. Maksymalna pojemność zasobu /archive w superkomputerze Prometheus to 5 PB, a sumaryczna szybkość operacji zapisu i odczytu sięga 60 GB/s.

Szczególnym przypadkiem pamięci masowej są zasoby dla dużych projektów i kolaboracji międzynarodowych, w których uczestniczy Cyfronet, takich jak WLCG (Worldwide LHC Computing Grid), analizujący dane z detektora LHC w CERN czy CTA (Cherenkov Telescope Array), badający promieniowanie gamma za pomocą sieci radioteleskopów. Tego typu projekty wymagają ogromnych zasobów dyskowych, dostępnych najczęściej za pomocą nietypowych protokołów takich jak SRM, xroot czy GridFTP. Cyfronet dostarcza tego typu przestrzeń dyskową przy użyciu kilku instancji dedykowanego oprogramowania DPM (Disk Pool Manager) i za pomocą dedykowanych sieci, takich jak LHCone. Łączna pojemność systemów DPM w Cyfronecie przekracza 1 PB.

Całkowita udostępniana pojemność dyskowa eksploatowana przez ACK Cyfronet AGH wynosi ponad 21 PB, w tym:

  • 6,8 TB wydajnych dysków FC,
  • 211 TB ekonomicznych dysków FATA,
  • 19 945 TB wydajnych dysków SAS,
  • 1 052 TB ekonomicznych dysków SATA,
  • 40 TB pamięci półprzewodnikowych NVMe.