Lustre: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
m (1 wersja)
 
(Nie pokazano 1 pośredniej wersji utworzonej przez tego samego użytkownika)
Linia 4: Linia 4:
 
Współdzielony system plików Lustre składa się z:
 
Współdzielony system plików Lustre składa się z:
  
* implementacja Lustre przez SGI dla WCSS, wdrożenie przez ATM S.A.,
+
* dwie macierze dyskowe DDN SFA14KX-40,
* dwie macierze dyskowe DDN S2A9900, każda ze 160 dyskami SAS 147GB 15kRPM, dyski pracują w grupach RAID-6, macierze posiadają dyski zapasowe (hot-spare),
+
* 2 serwery MDS i 8 serwerów OSS,
* dwa serwery MDS (SGI Altix XE250),
+
* przesyłanie danych przez sieć [[Infiniband]] - podłączenie macierzy, serwerów MDS i OSS w pełni redundantne (bez pojedyńczych punktów awarii),
* osiem serwerów OSS (SGI Altix XE250),
+
* pojemność surowa: 1500 TB,
* przesyłanie danych przez sieć [[Infiniband]] DDR - podłączenie macierzy, serwerów MDS i OSS w pełni redundantne (bez pojedyńczych punktów awarii),
 
* pojemność surowa: 47TB,
 
 
* parametry wydajnościowe (blok 1MB):
 
* parametry wydajnościowe (blok 1MB):
** zapis liniowy z dowolnego węzła klastra [[Nova]]: 1 GB/s
+
** zapis liniowy z dowolnego węzła klastra [[Bem]]: 5 GB/s
** łączny odczyt liniowy: 6 GB/s,
+
** łączny odczyt liniowy: 75 GB/s,
** łączny zapis liniowy: 10 GB/s,
+
** łączny zapis liniowy: 75 GB/s.
** łączny odczyt losowy: 6 GB/s,
 
** łączny zapis losowy: 6 GB/s,
 
  
 
===Zalecenia dla użytkowników===
 
===Zalecenia dla użytkowników===
  
* nie ma kwot dyskowych (na razie ;),
+
* Zawartość dysku /lustre nie jest w żaden sposób zabezpieczana przez WCSS i może zostać w każdej chwili skasowana lub utracona bez ostrzeżenia. Użytkownicy powinni zabezpieczać ważne wyniki we własnym zakresie.
* pliki nie używane dłużej niż 1 miesiąc będą automatycznie kasowane
+
* Nie wolno tworzyć wielu małych plików - system Lustre jest zoptymalizowany do przetwarzania dużych plików.
* zawartość nie będzie backupowana - prosze regularnie przenosić dane na archiwizator
+
* Każde zadanie obliczeniowe automatycznie tworzy podkatalog na dysku /lustre a jego ścieżka jest przechowywania w zmiennej $TMPDIR. Zachęcamy użytkowników do umieszczania tam danych tymczasowych generowanych podczas obliczeń. Katalog ten jest automatycznie kasowany po zakończeniu zadania.
* skrypty sub-* zostały dostosowywane do nowego położenia scratcha
+
* Brak limitów (kwot) dyskowych (na razie ;).
* aktualne ograniczenie maks. wielkości jednego pliku: 1TB
+
* Pliki nie używane dłużej niż 1 miesiąc będą automatycznie kasowane.
  
 
=== Interesujące strony ===
 
=== Interesujące strony ===
Linia 29: Linia 25:
 
* Opis systemu plików Lustre: http://pl.wikipedia.org/wiki/Lustre_(system_plików)
 
* Opis systemu plików Lustre: http://pl.wikipedia.org/wiki/Lustre_(system_plików)
 
* Lustre: http://www.lustre.org/
 
* Lustre: http://www.lustre.org/
* SGI: http://www.sgi.com
 
 
* Macierze DDN: http://www.datadirectnet.com/
 
* Macierze DDN: http://www.datadirectnet.com/
 
* Infrastruktura [[Infiniband]]: http://www.voltaire.com
 
* Infrastruktura [[Infiniband]]: http://www.voltaire.com
  
 
[[Kategoria:Storage]]
 
[[Kategoria:Storage]]

Aktualna wersja na dzień 12:39, 16 lis 2016

Lustre w WCSS

Lustre w KDM WCSS

Współdzielony system plików Lustre składa się z:

  • dwie macierze dyskowe DDN SFA14KX-40,
  • 2 serwery MDS i 8 serwerów OSS,
  • przesyłanie danych przez sieć Infiniband - podłączenie macierzy, serwerów MDS i OSS w pełni redundantne (bez pojedyńczych punktów awarii),
  • pojemność surowa: 1500 TB,
  • parametry wydajnościowe (blok 1MB):
    • zapis liniowy z dowolnego węzła klastra Bem: 5 GB/s
    • łączny odczyt liniowy: 75 GB/s,
    • łączny zapis liniowy: 75 GB/s.

Zalecenia dla użytkowników

  • Zawartość dysku /lustre nie jest w żaden sposób zabezpieczana przez WCSS i może zostać w każdej chwili skasowana lub utracona bez ostrzeżenia. Użytkownicy powinni zabezpieczać ważne wyniki we własnym zakresie.
  • Nie wolno tworzyć wielu małych plików - system Lustre jest zoptymalizowany do przetwarzania dużych plików.
  • Każde zadanie obliczeniowe automatycznie tworzy podkatalog na dysku /lustre a jego ścieżka jest przechowywania w zmiennej $TMPDIR. Zachęcamy użytkowników do umieszczania tam danych tymczasowych generowanych podczas obliczeń. Katalog ten jest automatycznie kasowany po zakończeniu zadania.
  • Brak limitów (kwot) dyskowych (na razie ;).
  • Pliki nie używane dłużej niż 1 miesiąc będą automatycznie kasowane.

Interesujące strony