KdmWiki - Wkład użytkownika [pl]

Dostępna przestrzeń dyskowa

2012-04-12T10:57:56Z

Pdubaniewicz:

<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Dostępna przestrzeń dyskowa</small>

Użytkownicy KDM mają na każdym [[Maszyny obliczeniowe|serwerze]] do dyspozycji kilka katalogów, w których mogą przechowywać swoje pliki:

* '''/home/$USER'''
:Katalogi domowe użytkownika znajdują się w systemach plików /home, które są współdzielone na [[Supernova]], [[Leo]] i [[Tezro]]. Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń. Przechowywanie plików o dużych rozmiarach jest niewskazane. W katalogach /home/$USER są tworzone krótkoterminowe kopie zapasowe danych użytkowników, z wykorzystaniem mechanizmu migawek (''snapshoty''). Do migawek użytkownicy mają dostęp w swoim katalogu domowym w podkatalogu <code>[[.snapshot]]</code>.

* '''/scratch/$USER''' lub '''/lustre/scratch/$USER'''
:Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemach plików <code>/scratch</code> ([[Leo]], [[Tezro]]) lub <code>/lustre/scratch</code> na [[Supernova]], które są oddzielne na wszystkich serwerach. System plików [[Lustre]] jest dostępny ze wszystkich węzłów obliczeniowych klastra [[Supernova]] oraz na serwerze [[archiwum.wcss.pl]]. Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej. Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca. Rozmiary przestrzeni <code>scratch</code> na każdym z komputerów podane są w opisie każdej [[maszyny obliczeniowe|maszyny obliczeniowej]]. Kopie zapasowe katalogów w przestrzeni tymczasowej nie są wykonywane.

* '''/archiwum/$USER'''
:Katalog /archiwum jest dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS. Na serwerach [[Tezro]] i [[Leo]] katalog dostępny jest po zalogowaniu. Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła - serwera '''[[archiwum.wcss.pl]]'''. W archiwum można umieszczać ważne dane, które nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]]. Odczytywanie pliku przeniesionego do archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, gdyż w tym czasie plik jest automatycznie przywracany. Poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.
:Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
:Zasady i techniki operacji na plikach opisane są na stronie [[Archiwizacja danych]].

{{uwaga2|Zapis "$USER" oznacza wartość zmiennej środowiskowej USER, w której system przechowuje nazwę (login) użytkownika.}}

'''Zobacz też:'''
* [[Lustre Best Practices | Lustre - zbiór najlepszych praktyk]]
* [[archiwizacja danych]]
* [[.snapshot]]

[[Kategoria:Podręcznik użytkownika]]

Lustre Best Practices

2012-04-12T10:56:06Z

Pdubaniewicz: Utworzył nową stronę „System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadz...”

System plików Lustre dostarcza przestrzeń /lustre/scratch służącą do obliczeń. Współdzieli on wiele zasobów i jego nieodpowiednie używanie może doprowadzić do niepotrzebnie dużego obciążenia lub w skrajnych przypadkach do awarii tego podsystemu. Bardzo proszę zapoznać się ze zbiorem najlepszych praktyk dotyczących file systemu Lustre i ich używanie co pozwoli na optymalne wykorzystanie zasobów.

===Jak działa Lustre?===

Kiedy program chce dostać się do danych składowanych na Lustre, odpytuje najpierw serwer MDS (metadata server) o położenie pliku. Mając te informacje może zwrócić się bezpośrednio do serwera lub serwerów OSS (Object Storage Server), który to pozwala na dostęp do danych, dopisanie danych do plików itp.

===Jak korzystać z Lustre?===

* '''Nie należy nadużywać polecenia ls -l.''' Aby wyświetlić output polecenia ls -l, klient dla każdego wylistowanego pliku wysyła żądanie zarówno do serwera MDS jak i do serwera(ów) OSS. Nie należy używać również ls z kolorowaniem składni. Aby wylistować zawartość katalogu powinno się uruchomić ls bez dodatkowych argumentów, ewentualnie programy find lub lfs (z opcją find).
* '''Należy ograniczyć liczbę plików w katalogach.''' Operacja otwarcia pliku zakłada blokadę na katalog nadrzędny. Aby zmniejszyć negatywny efekt przy otwieraniu wielu plików powinno się utworzyć strukturę podkatalogów i rozmieścić w niej pliki.
* '''Nie powinno się korzystać z małych plików na Lustre.''' Ten file system nie jest przystosowany do obsługi takich plików. Jeśli tylko można należy połączyć małe pliki w jeden większy lub korzystać z nich tylko na swoim katalogu /home
* '''Jeśli to tylko możliwe należy używać dużych, sekwencyjnych odczytów/zapisów.''' Jako, że file system Lustre stara się odczytywać/zapisywać dane 1 megabajtowymi blokami, takie działanie pozwali na uzyskanie najlepszej wydajności.
* '''Jeśli to możliwe należy otwierać pliki w trybie „read-only”.''' Jeśli program nie będzie zapisywał do pliku, przy jego otwarciu należy użyć flagi O_RDONLY. Jeśli dodatkowo nie jest ważny czas dostępu do pliku dobrą praktyką jest użycie flagi O_NOATIME.

Szablon:Szkolenia

2010-12-03T10:49:24Z

Pdubaniewicz:

;Planowane

;Minione
* [[Warsztaty archiwizacji PLATON | Warsztaty archiwizacji PLATON U4]] - 2 grudnia 2010
* [[Szkolenie dla początkujących użytkowników WCSS 2010-11]] - 22 listopada 2010
* [[Szkolenie SIESTA]] - 28-29 października 2010
* [[Obliczenia wibracyjnie rozdzielczych widm elektronowych w Gaussianie 09]] - 22 września 2010
* [[Kurs Fortranu]] - od 3 marca 2010
* [[Seminarium Materials modeling Accelrys]] - 17 lutego 2010
* [[Zastosowania dynamiki molekularnej na przykładach dostępnego oprogramowania - przykłady]]
* [[Szkolenie Cpp|Szkolenie C++]] - 8,15,22,29 maja 2009, 5 czerwca WCSS
* [[Szkolenie z OpenMP]] - 27 marca 2009, Wrocław

[ [[Szkolenia|wszystkie szkolenia]] ]

Szkolenia

2010-12-03T10:48:33Z

Pdubaniewicz:

__NOTOC__
== Planowane ==

==Minione==
=== 2010 ===
* [[Warsztaty archiwizacji PLATON | Warsztaty archiwizacji PLATON U4]] - 2 grudnia 2010
* [[Szkolenie dla początkujących użytkowników WCSS 2010-11]] - 22 listopada 2010
* [[Szkolenie SIESTA]] - 28-29 października 2010
* [[Obliczenia wibracyjnie rozdzielczych widm elektronowych w Gaussianie 09]] - 22 września 2010
* [[Szkolenie dla początkujących użytkowników WCSS]] - 30 marca 2010
* [[Kurs Fortranu]] - od 3 marca 2010
* [[Szkolenie COMSOL]] - 24 lutego 2010
* [[Seminarium Materials modeling Accelrys]] - 17 lutego 2010

=== 2009 ===
* [[Narzędzia Linux | Narzędzia programistyczne w systemie Linux]]
* [[Zastosowania dynamiki molekularnej na przykładach dostępnego oprogramowania - przykłady]]
* [[Szkolenie Cpp|Szkolenie C++]] - 8,15,22,29 maja 2009, 5 czerwca WCSS
* [[Szkolenie NBO]] - 10 marca 2009, WCSS
* [[Szkolenie z OpenMP]] - 27 marca 2009, WCSS

=== 2008 ===
* [[Szkolenie ADF 2]] - 29 września 2008
* [[Szkolenie MS GULP]] - 28 sierpnia 2008
* [[Warsztaty z pakietu Molcas]] cz. 2
* [[Selected topics in molecular modeling]], prof. Peter Pulay - 21 maja, godz. 12:00, Wydz. Chemii UWr, Aud. I, maj-czerwiec 2008
* [[Teoretyczne podstawy CPMD - wykład]] - marzec-czerwiec 2008
* [[Szkolenie MS Reflex Tools]] - 30 maja 2008
* [[Szkolenie Molcas]] - 20 maja, godz. 15:15, sala nr. 50 budynek A2
* [[Symulacje dynamiki molekularnej dla układów biologicznych]] - 25 kwietnia 2008
* [[Szkolenie Python|Python cz. 1]]
* [[Linux - podstawy]] - luty/marzec 2008
* [[Szkolenie Oniom]] - 5 lutego 2008, godz 11, Wrocław
* [[Szkolenie Accelrys]] - 16 stycznia 2008, godz. 10-12, p. 101/7, bud. D-2, Wrocław

=== 2007 ===
* [[Szkolenie Turbomole/EGEE]] - szkolenie Turbomole: 15 maja, EGEE: 16 maja 2007
* [[Szkolenie Altix|Szkolenie z platformy SGI Altix]] - WCSS, Wrocław 5-16 marca 2007
* [[Szkolenie CPMD|Szkolenie z pakietu CPMD]] - WCSS, Wrocław 22-23 lutego 2007

=== 2006 ===
* [[Szkolenie Tripos|Szkolenie z pakietu Sybyl]] - ICM, Warszawa, 12-13 grudnia 2006
* [[Szkolenie administratorów Clusterix]] - Wrocław, 30 czerwca 2006
* [[Szkolenie użytkowników Clusterix]] - Poznań, 13 czerwca 2006
* [[Seminarium Molpro|Szkolenie z pakietu Molpro]] - WCSS, Wrocław 23 maja 2006
* [[Szkolenie ADF|Szkolenie z pakietu ADF]] - WCSS, Wrocław 10 kwietnia 2006

[[Kategoria:Szkolenia| ]]

Warsztaty archiwizacji PLATON

2010-11-22T14:42:50Z

Pdubaniewicz: /* Plan szkolenia */

[[WCSS]] zaprasza na warsztaty w ramach pakietu U4 projektu PLATON. Temat warsztatów to "Usługa powszechnej archiwizacji - zabezpieczenie i archiwizacja danych w środowisku naukowym". Usługa jest realizowana przez polskie ośrodki MAN z przeznaczeniem dla instytucji i studentów chcących rozwiązać swoje problemy z zabezpieczeniem i przechowywaniem danych.

*'''Data:''' 2 grudnia 2010
*'''Czas:''' godz. 10:00-14:00
*'''Miejsce:''' PWr. bud. C-13, s. 1.13
*'''Temat:''' "Usługa powszechnej archiwizacji. Zabezpieczenie i archiwizacja danych w środowisku naukowym"
*'''Dokumenty:''' '''[[Media:Ulotka_PLATON_U4.pdf|Ulotka promocyjna warsztatów]]'''

==Zgłoszenia==
Udział w szkoleniu jest bezpłatny.

Zgłoszenia zawierające imię i nazwisko (obligatoryjnie) oraz (ewentualnie) nazwę miejsca pracy zgłaszanej osoby prosimy kierować do Przemysława Dubaniewicza (przemyslaw.dubaniewicz@pwr.wroc.pl).

==Plan warsztatów==
* Rejestracja
'''WPROWADZENIE'''
* Projekt PLATON i jego usługi
* Zagrożenia dla danych – problemy i scenariusze
'''TECHNOLOGIE PRZECHOWYWANIA DANYCH'''
* Nowoczesne systemy dyskowe i sieci SAN
* Systemy taśmowe i oprogramowanie
* Przerwa na kawę
'''USŁUGA POWSZECHNEJ ARCHIWIZACJI'''
* Architektura i mechanizmy systemu
* Tworzenie kopii zapasowych i archiwalnych
'''KORZYSTANIE Z USŁUGI'''
* Narzędzia klienta usługi archiwizacji

==Informacje dodatkowe==
Miło jest nam poinformować, że zarejestrowani w terminie
uczestnicy bezpłatnych warsztatów Platon U4, po warsztatach, otrzymają
wejściówkę umożliwiającą wstęp na pozostałe w tym dniu (po godz. 14)
prezentacje konferencji "i3 - internet - infrastruktury - innowacje":
http://www.i3conference.net. Dla uczestników warsztatów przewidziany
jest także obiad o godz 14-tej. Zapraszamy.

[[Kategoria:Szkolenia]]

Szablon:Szkolenia

2010-11-22T14:41:30Z

Pdubaniewicz:

;Planowane
* [[Warsztaty archiwizacji PLATON | Warsztaty archiwizacji PLATON U4]] - 2 grudnia 2010
* [[Szkolenie dla początkujących użytkowników WCSS]] - 22 listopada 2010

;Minione
* [[Szkolenie SIESTA]] - 28-29 października 2010
* [[Obliczenia wibracyjnie rozdzielczych widm elektronowych w Gaussianie 09]] - 22 września 2010
* [[Kurs Fortranu]] - od 3 marca 2010
* [[Seminarium Materials modeling Accelrys]] - 17 lutego 2010
* [[Zastosowania dynamiki molekularnej na przykładach dostępnego oprogramowania - przykłady]]
* [[Szkolenie Cpp|Szkolenie C++]] - 8,15,22,29 maja 2009, 5 czerwca WCSS
* [[Szkolenie z OpenMP]] - 27 marca 2009, Wrocław

[ [[Szkolenia|wszystkie szkolenia]] ]

Szkolenia

2010-11-22T14:38:46Z

Pdubaniewicz: /* Planowane */

__NOTOC__
== Planowane ==
* [[Warsztaty archiwizacji PLATON | Warsztaty archiwizacji PLATON U4]] - 2 grudnia 2010
* [[Szkolenie dla początkujących użytkowników WCSS]] - 22 listopada 2010

==Minione==
=== 2010 ===
* [[Szkolenie SIESTA]] - 28-29 października 2010
* [[Obliczenia wibracyjnie rozdzielczych widm elektronowych w Gaussianie 09]] - 22 września 2010
* [[Szkolenie dla początkujących użytkowników WCSS]] - 30 marca 2010
* [[Kurs Fortranu]] - od 3 marca 2010
* [[Szkolenie COMSOL]] - 24 lutego 2010
* [[Seminarium Materials modeling Accelrys]] - 17 lutego 2010

=== 2009 ===
* [[Narzędzia Linux | Narzędzia programistyczne w systemie Linux]]
* [[Zastosowania dynamiki molekularnej na przykładach dostępnego oprogramowania - przykłady]]
* [[Szkolenie Cpp|Szkolenie C++]] - 8,15,22,29 maja 2009, 5 czerwca WCSS
* [[Szkolenie NBO]] - 10 marca 2009, WCSS
* [[Szkolenie z OpenMP]] - 27 marca 2009, WCSS

=== 2008 ===
* [[Szkolenie ADF 2]] - 29 września 2008
* [[Szkolenie MS GULP]] - 28 sierpnia 2008
* [[Warsztaty z pakietu Molcas]] cz. 2
* [[Selected topics in molecular modeling]], prof. Peter Pulay - 21 maja, godz. 12:00, Wydz. Chemii UWr, Aud. I, maj-czerwiec 2008
* [[Teoretyczne podstawy CPMD - wykład]] - marzec-czerwiec 2008
* [[Szkolenie MS Reflex Tools]] - 30 maja 2008
* [[Szkolenie Molcas]] - 20 maja, godz. 15:15, sala nr. 50 budynek A2
* [[Symulacje dynamiki molekularnej dla układów biologicznych]] - 25 kwietnia 2008
* [[Szkolenie Python|Python cz. 1]]
* [[Linux - podstawy]] - luty/marzec 2008
* [[Szkolenie Oniom]] - 5 lutego 2008, godz 11, Wrocław
* [[Szkolenie Accelrys]] - 16 stycznia 2008, godz. 10-12, p. 101/7, bud. D-2, Wrocław

=== 2007 ===
* [[Szkolenie Turbomole/EGEE]] - szkolenie Turbomole: 15 maja, EGEE: 16 maja 2007
* [[Szkolenie Altix|Szkolenie z platformy SGI Altix]] - WCSS, Wrocław 5-16 marca 2007
* [[Szkolenie CPMD|Szkolenie z pakietu CPMD]] - WCSS, Wrocław 22-23 lutego 2007

=== 2006 ===
* [[Szkolenie Tripos|Szkolenie z pakietu Sybyl]] - ICM, Warszawa, 12-13 grudnia 2006
* [[Szkolenie administratorów Clusterix]] - Wrocław, 30 czerwca 2006
* [[Szkolenie użytkowników Clusterix]] - Poznań, 13 czerwca 2006
* [[Seminarium Molpro|Szkolenie z pakietu Molpro]] - WCSS, Wrocław 23 maja 2006
* [[Szkolenie ADF|Szkolenie z pakietu ADF]] - WCSS, Wrocław 10 kwietnia 2006

[[Kategoria:Szkolenia| ]]

Warsztaty archiwizacji PLATON

2010-11-22T14:36:43Z

Pdubaniewicz: Utworzył nową stronę „WCSS zaprasza na warsztaty w ramach pakietu U4 projektu PLATON. Temat warsztatów to "Usługa powszechnej archiwizacji - zabezpieczenie i archiwizacja danych w śro...”

[[WCSS]] zaprasza na warsztaty w ramach pakietu U4 projektu PLATON. Temat warsztatów to "Usługa powszechnej archiwizacji - zabezpieczenie i archiwizacja danych w środowisku naukowym". Usługa jest realizowana przez polskie ośrodki MAN z przeznaczeniem dla instytucji i studentów chcących rozwiązać swoje problemy z zabezpieczeniem i przechowywaniem danych.

*'''Data:''' 2 grudnia 2010
*'''Czas:''' godz. 10:00-14:00
*'''Miejsce:''' PWr. bud. C-13, s. 1.13
*'''Temat:''' "Usługa powszechnej archiwizacji. Zabezpieczenie i archiwizacja danych w środowisku naukowym"
*'''Dokumenty:''' '''[[Media:Ulotka_PLATON_U4.pdf|Ulotka promocyjna warsztatów]]'''

==Zgłoszenia==
Udział w szkoleniu jest bezpłatny.

Zgłoszenia zawierające imię i nazwisko (obligatoryjnie) oraz (ewentualnie) nazwę miejsca pracy zgłaszanej osoby prosimy kierować do Przemysława Dubaniewicza (przemyslaw.dubaniewicz@pwr.wroc.pl).

==Plan szkolenia==
* Rejestracja
'''WPROWADZENIE'''
* Projekt PLATON i jego usługi
* Zagrożenia dla danych – problemy i scenariusze
'''TECHNOLOGIE PRZECHOWYWANIA DANYCH'''
* Nowoczesne systemy dyskowe i sieci SAN
* Systemy taśmowe i oprogramowanie
* Przerwa na kawę
'''USŁUGA POWSZECHNEJ ARCHIWIZACJI'''
* Architektura i mechanizmy systemu
* Tworzenie kopii zapasowych i archiwalnych
'''KORZYSTANIE Z USŁUGI'''
* Narzędzia klienta usługi archiwizacji

==Informacje dodatkowe==
Miło jest nam poinformować, że zarejestrowani w terminie
uczestnicy bezpłatnych warsztatów Platon U4, po warsztatach, otrzymają
wejściówkę umożliwiającą wstęp na pozostałe w tym dniu (po godz. 14)
prezentacje konferencji "i3 - internet - infrastruktury - innowacje":
http://www.i3conference.net. Dla uczestników warsztatów przewidziany
jest także obiad o godz 14-tej. Zapraszamy.

[[Kategoria:Szkolenia]]

Plik:Ulotka PLATON U4.pdf

2010-11-22T14:32:36Z

Pdubaniewicz: Ulotka promocyjna PLATON U4

Ulotka promocyjna PLATON U4