Archiwizacja danych: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
Linia 1: Linia 1:
 
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small>
 
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small>
 +
 +
{{uwaga2|Regulamin korzystania:
 +
* Użytkownik może archiwizować wyłącznie dane wejściowe, pośrednie i końcowe używane do obliczeń realizowanych jedynie na komputerach KDM WCSS - archiwizowanie innych danych używanych prywatnie, służbowo i w innych centrach KDM jest zabronione.
 +
* Zabronione jest zapełnianie katalogu /archiwum w 100% - prowadzi to do przeciążenia systemu archiwizacji.
 +
* Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji.}}
  
 
'''Archiwizacja danych''' dla użytkowników [[KDM]] możliwa jest przez katalog '''/archiwum/$USER''' dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS.  Na serwerach [[Tezro]] i [[Leo]] katalog dostępny jest po zalogowaniu. Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła - serwera [[archiwum.wcss.pl | '''archiwum.wcss.pl''']].
 
'''Archiwizacja danych''' dla użytkowników [[KDM]] możliwa jest przez katalog '''/archiwum/$USER''' dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS.  Na serwerach [[Tezro]] i [[Leo]] katalog dostępny jest po zalogowaniu. Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła - serwera [[archiwum.wcss.pl | '''archiwum.wcss.pl''']].
  
 
Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum.
 
Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum.
 +
 +
System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
 +
 +
Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak df czy du. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego bez zmiany charakteru dostępu. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.
  
 
W katalogu '''/archiwum''' użytkownicy mają do dyspozycji prywatne archiwa. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]].  
 
W katalogu '''/archiwum''' użytkownicy mają do dyspozycji prywatne archiwa. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]].  
Linia 20: Linia 29:
 
  > rm plik.txt  
 
  > rm plik.txt  
 
   
 
   
Odczytywanie pliku z archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika. 
 
 
 
Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /scratch, np:
 
Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /scratch, np:
 
   
 
   
 
  > cp /archiwum/user1/plik.txt /home/user1/
 
  > cp /archiwum/user1/plik.txt /home/user1/
  > ls /home/user1/
+
  > ls /home/user1/plik.txt
plik.txt
 
  
 
Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:
 
Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:
Linia 34: Linia 40:
 
  > rm /archiwum/user1/plik.txt  
 
  > rm /archiwum/user1/plik.txt  
  
Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
+
Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:
 +
 
 +
> tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>
 +
 
 +
Rozpakowywanie narzędziem TAR:
 +
 
 +
> tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]
 +
 
 +
Sprawdzanie zawartości archiwum TAR:
 +
 
 +
> tar tzvf nazwa_paczki.tar.gz
 +
 
 +
Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:
 +
 
 +
> zip -r9 nazwa_paczki.zip <lista plikow do spakowania>
 +
 
 +
Rozpakowywanie narzędziem ZIP:
 +
 
 +
> unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]
 +
 
 +
Sprawdzanie zawartości archiwum ZIP:
 +
 
 +
> zipinfo nazwa_paczki.zip
  
 
[[Kategoria:Podręcznik użytkownika]]
 
[[Kategoria:Podręcznik użytkownika]]

Wersja z 21:59, 28 gru 2011

< Podręcznik użytkownika KDM < Dostęp do KDM < Archiwizacja danych

Archiwizacja danych dla użytkowników KDM możliwa jest przez katalog /archiwum/$USER dostępny na wszystkich maszynach obliczeniowych WCSS. Na serwerach Tezro i Leo katalog dostępny jest po zalogowaniu. Korzystanie z archiwum na klastrze Supernova odbywa się za pośrednictwem dedykowanego węzła - serwera archiwum.wcss.pl.

Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum.

System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.

Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak df czy du. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego bez zmiany charakteru dostępu. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.

W katalogu /archiwum użytkownicy mają do dyspozycji prywatne archiwa. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu archiwizacji.

Korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku. Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika user1:

> cd /home/user1
> cp plik.txt /archiwum/user1/
> ls /archiwum/user1/
plik.txt

Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:

> cd /home/user1
> rm plik.txt 

Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /scratch, np:

> cp /archiwum/user1/plik.txt /home/user1/
> ls /home/user1/plik.txt

Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:

> ls /archiwum/user1/
plik.txt
> rm /archiwum/user1/plik.txt 

Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:

> tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>

Rozpakowywanie narzędziem TAR:

> tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum TAR:

> tar tzvf nazwa_paczki.tar.gz

Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:

> zip -r9 nazwa_paczki.zip <lista plikow do spakowania>

Rozpakowywanie narzędziem ZIP:

> unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum ZIP:

> zipinfo nazwa_paczki.zip