Archiwizacja danych: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
 
(Nie pokazano 10 wersji utworzonych przez 4 użytkowników)
Linia 1: Linia 1:
 
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small>
 
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Archiwizacja danych</small>
 
{{toc-right}}
 
{{toc-right}}
Jeżeli użytkownik potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Archiwizacja danych dla użytkowników [[KDM]] możliwa jest przez katalog '''/archiwum/$USER''' dostępny na wszystkich [[maszyny obliczeniowe|maszynach obliczeniowych]] WCSS. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.  
+
Jeżeli użytkownik [[KDM]] potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Dostęp do archiwum mają wszyscy użytkownicy klastra [[Bem]].  
  
System archiwizacji automatycznie tworzy kopie zapasowe składowanych plików, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
+
System archiwizacji automatycznie tworzy kopie zapasowe plików składowanych w archiwum, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.
  
Nie należy sugerować się pojemnością katalogu /archiwum ani jego podkatalogów pokazywaną przez narzędzie takie jak <code>df</code> czy <code>du</code>. Katalog ten jest jest tylko "wierzchołkiem góry lodowej" - po jego zapełnieniu powyżej wartości progowej dane są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Jedyną różnicą po przeniesieniu pliku na robota taśmowego może być wydłużenie czasu dostępu do niego. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.  
+
Dane z archiwum są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Jedyną różnicą po przeniesieniu pliku na robota taśmowego może być wydłużenie czasu dostępu do niego. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.  
  
 
{{uwaga2|Regulamin korzystania:
 
{{uwaga2|Regulamin korzystania:
 
* Użytkownik może archiwizować wyłącznie dane wejściowe, pośrednie i końcowe używane do obliczeń realizowanych jedynie na komputerach KDM WCSS - archiwizowanie innych danych używanych prywatnie, służbowo i w innych centrach KDM jest zabronione.
 
* Użytkownik może archiwizować wyłącznie dane wejściowe, pośrednie i końcowe używane do obliczeń realizowanych jedynie na komputerach KDM WCSS - archiwizowanie innych danych używanych prywatnie, służbowo i w innych centrach KDM jest zabronione.
* Zabronione jest zapełnianie katalogu /archiwum w 100% - prowadzi to do przeciążenia systemu archiwizacji.
+
* Zabronione jest zapełnianie katalogu /archiwum w 100%. Prowadzi to do przeciążenia systemu archiwizacji. Należy nadzorować swoje operacje na plikach w sposób ciągły, aby nie doprowadzić do przepełnienia.
 
* Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji.
 
* Zabronione jest składowanie plików mniejszych niż 50 megabajtów ze względu na fakt że obsługa wielu małych plików prowadzi do przeciążenia systemu archiwizacji.
* Zabronione jest zmienianie nazw plików i katalogów po skopiowaniu.}}
+
* Zabronione jest zmienianie nazw plików i katalogów po skopiowaniu na archiwizator.}}
  
 
=== Dostęp do archiwum ===
 
=== Dostęp do archiwum ===
Korzystanie z archiwum na klastrze [[Supernova]] odbywa się za pośrednictwem dedykowanego węzła '''archiwum.wcss.pl'''. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych.
 
  
* Można zalogować się bezpośrednio na węzeł archiwum:
+
Korzystanie z archiwum na klastrze [[Bem]] odbywa się za pośrednictwem dedykowanego węzła '''archiwum.wcss.pl'''. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych.
> ssh archiwum.wcss.pl
 
  
* lub najpierw na węzeł dostępowy klastra Supernova, a następnie na węzeł archiwum:
+
* Logowanie na węzeł archiwum (ten sam login i hasło jak na klaster Bem):
  > ssh supernova.wcss.pl
+
  ssh archiwum.wcss.pl
supernova> ssh archiwum
+
 
 +
Po zalogowaniu archiwum dostępne jest jako katalog o nazwie '''/archiwum/$USER'''. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.
  
 
=== Operacje na plikach ===
 
=== Operacje na plikach ===
Linia 28: Linia 27:
 
===== Archiwizacja danych =====
 
===== Archiwizacja danych =====
 
Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika <code>user1</code>:
 
Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika <code>user1</code>:
+
 
  > cd /home/user1
+
Sprawdzenie zawartości katalogu osobistego:
  > cp plik.txt /archiwum/user1/
+
  ls /archiwum/user1/
> ls /archiwum/user1/
+
 
plik.txt
+
Skopiowanie pliku:
 +
  cp plik.txt /archiwum/user1/
  
 
Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /lustre/scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:
 
Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /lustre/scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:
   
+
  rm plik.txt
> cd /home/user1
+
 
  > rm plik.txt  
+
Przeniesienie (skopiowanie i skasowanie w jednym kroku):
 +
  mv plik.txt /archiwum/user1/
  
 
===== Przywracanie danych =====
 
===== Przywracanie danych =====
 
Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /lustre/scratch, np:
 
Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /lustre/scratch, np:
   
+
 
  > cp /archiwum/user1/plik.txt /home/user1/
+
  ls /archiwum/user1/
  > ls /home/user1/plik.txt
+
  cp /archiwum/user1/plik.txt /home/user1/
 +
  ls /home/user1/plik.txt
  
 
Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:
 
Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:
  
  > ls /archiwum/user1/
+
  rm /archiwum/user1/plik.txt
plik.txt
 
> rm /archiwum/user1/plik.txt  
 
  
 
=== Pakowanie i kompresja ===
 
=== Pakowanie i kompresja ===
Linia 57: Linia 57:
 
Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:
 
Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:
  
  > tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>
+
  tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>
  
 
Rozpakowywanie narzędziem TAR:
 
Rozpakowywanie narzędziem TAR:
  
  > tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]
+
  tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]
  
 
Sprawdzanie zawartości archiwum TAR:
 
Sprawdzanie zawartości archiwum TAR:
  
  > tar tzvf nazwa_paczki.tar.gz
+
  tar tzvf nazwa_paczki.tar.gz
  
 
===== Pakowanie i kompresja - ZIP =====
 
===== Pakowanie i kompresja - ZIP =====
 
Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:
 
Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:
  
  > zip -r9 nazwa_paczki.zip <lista plikow do spakowania>
+
  zip -r9 nazwa_paczki.zip <lista plikow do spakowania>
  
 
Rozpakowywanie narzędziem ZIP:
 
Rozpakowywanie narzędziem ZIP:
  
  > unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]
+
  unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]
  
 
Sprawdzanie zawartości archiwum ZIP:
 
Sprawdzanie zawartości archiwum ZIP:
  
  > zipinfo nazwa_paczki.zip
+
  zipinfo nazwa_paczki.zip
  
  

Aktualna wersja na dzień 13:00, 5 sty 2018

< Podręcznik użytkownika KDM < Dostęp do KDM < Archiwizacja danych

Jeżeli użytkownik KDM potrzebuje miejsca na przechowywanie dużej ilości danych, powinien w tym celu skorzystać z archiwum. Dostęp do archiwum mają wszyscy użytkownicy klastra Bem.

System archiwizacji automatycznie tworzy kopie zapasowe plików składowanych w archiwum, z maksymalną częstotliwością trzy razy na dobę. Częstotliwość jest regulowana przez administratorów.

Dane z archiwum są automatycznie przenoszone na robota taśmowego, bez zmiany sposobu dostępu dla użytkownika. Jedyną różnicą po przeniesieniu pliku na robota taśmowego może być wydłużenie czasu dostępu do niego. Dlatego odczytywanie pliku z archiwum może potrwać nawet kilkadziesiąt minut (w zależności od jego wielkości), w tym czasie plik, jeśli został wcześniej zarchiwizowany, jest automatycznie przywracany i udostępniany w odpowiednim katalogu archiwum użytkownika.

Dostęp do archiwum

Korzystanie z archiwum na klastrze Bem odbywa się za pośrednictwem dedykowanego węzła archiwum.wcss.pl. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. Aby przenieść swoje dane z katalogu domowego lub tymczasowego do/z archiwum należy zalogować się na ten węzeł i wykonać potrzebne operacje na danych.

  • Logowanie na węzeł archiwum (ten sam login i hasło jak na klaster Bem):
ssh archiwum.wcss.pl

Po zalogowaniu archiwum dostępne jest jako katalog o nazwie /archiwum/$USER. Katalog ten jest prywatnym archiwum użytkownika, niedostępnym dla innych użytkowników.

Operacje na plikach

Korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.

Archiwizacja danych

Aby przenieść dane do archiwum wystarczy je skopiować, np. dla użytkownika user1:

Sprawdzenie zawartości katalogu osobistego:

ls /archiwum/user1/ 

Skopiowanie pliku:

cp plik.txt /archiwum/user1/

Po skopiowaniu pliku należy usunąć go z dotychczasowej lokalizacji (/home lub /lustre/scratch), aby zwolnić miejsce zajmowane przez niego na dysku, np:

rm plik.txt

Przeniesienie (skopiowanie i skasowanie w jednym kroku):

mv plik.txt /archiwum/user1/
Przywracanie danych

Aby ponownie skorzystać z pliku wystarczy skopiować go do swojego katalogu w przestrzeni /home lub /lustre/scratch, np:

ls /archiwum/user1/ 
cp /archiwum/user1/plik.txt /home/user1/
ls /home/user1/plik.txt

Jeżeli nie ma potrzeby przechowywania pliku w archiwum, można go stamtąd usunąć, np:

rm /archiwum/user1/plik.txt

Pakowanie i kompresja

Jeśli użytkownik posiada wiele małych plików, które chce przenieść do archiwum, należy je spakować razem i skompresować (kompresja bezstratna). Można to zrobić z wykorzystaniem poleceń tar lub zip.

Pakowanie i kompresja - TAR

Pakowanie i kompresowanie większej liczby małych plików w paczki TAR:

tar czvf nazwa_paczki.tar.gz <lista plikow do spakowania>

Rozpakowywanie narzędziem TAR:

tar xzvf nazwa_paczki.tar.gz [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum TAR:

tar tzvf nazwa_paczki.tar.gz
Pakowanie i kompresja - ZIP

Pakowanie i kompresowanie większej liczby małych plików w paczki ZIP:

zip -r9 nazwa_paczki.zip <lista plikow do spakowania>

Rozpakowywanie narzędziem ZIP:

unzip nazwa_paczki.zip [<opcjonalna lista plikow do rozpakowania>]

Sprawdzanie zawartości archiwum ZIP:

zipinfo nazwa_paczki.zip


Zobacz też: Dostępna przestrzeń dyskowa