Supernova

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania

< Podręcznik użytkownika KDM < Maszyny obliczeniowe

{{{nazwa}}}
[[Plik:
Klaster Nova
|250px|noframe|center]]
Kontakt
nova @ kdm.wcss.wroc.pl

Nova - klaster zainstalowany w WCSS, włączony w struktury projektu EGEE i PL-Grid. Architektura wszystkich komputerów to x86_64 (Intel Core micro Architecture, EM64T).

Elementy klastra:

  • węzeł dostępowy (nova),
  • dwa węzły usługowe (darkmass/SE i dwarf/CE),
  • 732 węzły obliczeniowe (wn001 - wn732),
  • sieć obliczeniowa - Infiniband DDR fat-tree full-cbb,
  • sieć zarządzania - gigabit ethernet.

Zasoby obliczeniowe klastra:

  • 6864 rdzeni obliczeniowych,
  • >13 TB pamięci operacyjnej (2GB/rdzeń)
  • ~100 TB przestrzeni dyskowej (NFS + Lustre),
  • komunikacja pomiędzy węzłami klastra: przepływność 20Gbps, opóźnienia < 5 us.


Zestawienie

klaster :
moc obliczeniowa :
węzły :
CPU :
liczba CPU :
cache L2 :
pamięć :
dysk /home :
dysk /scratch :
system operacyjny :

nova.wcss.wroc.pl
19 TFLOPS
dostępowy
Intel Xeon 5160 3GHz
2x dual-core
4MB
16GB
NFS 10TB
-
ScientificLinux



obliczeniowe generacji I (152)
Intel Xeon X3220 2.4 GHz
1 quad-core
8MB
8GB
NFS 10TB
Lustre
ScientificLinux



obliczeniowe generacji II (136)
Intel Xeon E5345 2.33 GHz
2x quad-core
8MB
16GB
NFS 10TB
Lustre
ScientificLinux



obliczeniowe generacji III (40)
Intel Xeon L5420 2.5 GHz
2x quad-core
12MB
16GB
NFS 10TB
Lustre
ScientificLinux



obliczeniowe generacji IV(404)
Intel Xeon X5650 2.67 GHz GHz
2x six-core
12MB
24GB
NFS 10TB
Lustre
ScientificLinux

Oprogramowanie

Aplikacje

Abaqus, ACES2, Autodock, CAMFR, CPMD, FDS-SMV ,GAMESS, Gaussian, LAMMPS, Meep, MOLCAS, Molpro, Matlab, NWChem, R, TURBOMOLE aplikacje własne użytkowników.

Kompilatory

GNU GCC, Intel, PGI

Biblioteki
  • MVAPICH1,
  • MVAPICH2,
  • MKL (/opt/intel/mkl/WERSJA/lib/em64t/),
  • GotoBLAS (/usr/local/lib/),
  • ATLAS 3.8.3 (/usr/local/atlas-3.8.3)
  • ...
Narzedzia
System kolejkowania

PBS

RSA key fingerprint

d5:85:f7:5a:92:9b:72:7d:d3:74:67:ab:e4:46:28:e9

Zalecenia

  • na dysku /home wprowadzone zostały kwoty dyskowe: limit miękki 20GB, limit twardy 25GB, limit czasowy 7 dni; sprawdzenie stanu:
quota

opis systemu kwot:

man quota
  • zainstalowane zostały nowe kompilatory Intela oraz nowa biblioteka MKL; oprogramowanie korzystające ze starych bibliotek może nie uruchamiać się lub pracować nieoptymalnie - wymagana jest rekompilacja;
  • oprogramowanie zrównoleglone w standardze MPI musi zostać przekompilowane, aby mogło korzystać z sieci Infiniband; domyślna implementacja MPI to MVAPICH1;
  • zadania MPI uruchamiane poprzez sieć Ethernet a nie Infiniband bądą zabijane bez ostrzeżenia - sieć Ethernet jest dedykowana dla NFS;
  • zadania MPI należy uruchamiac poprzez narzędzie MPIEXEC a nie mpirun;
  • oprogramowanie zrównoleglone w innym standardze niż MPI musi zostać przekonfigurowane - prosimy o kontakt użytkownikow takich aplikacji;
  • zalecenia dotyczące współdzielonego dysku scratch - Lustre

Zobacz też