Dostępna przestrzeń dyskowa: Różnice pomiędzy wersjami

Z KdmWiki
Przejdź do nawigacji Przejdź do wyszukiwania
m (1 wersja: A-G)
 
(Nie pokazano 29 wersji utworzonych przez 5 użytkowników)
Linia 1: Linia 1:
−
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]]</small>
+
<small>< [[Podręcznik użytkownika KDM]] < [[Dostęp do KDM]] < Dostępna przestrzeń dyskowa</small>
  
 
Użytkownicy KDM mają na każdym [[Maszyny obliczeniowe|serwerze]] do dyspozycji kilka katalogów, w których mogą przechowywać swoje pliki:
 
Użytkownicy KDM mają na każdym [[Maszyny obliczeniowe|serwerze]] do dyspozycji kilka katalogów, w których mogą przechowywać swoje pliki:
  
 
* '''/home/$USER'''
 
* '''/home/$USER'''
−
:Katalogi domowe użytkownika znajdują się w systemach plików /home, które są współdzielone na [[Leo]] i [[Tezro]]. [[Nova]] ma odrębne katalogi domowe. Na klastrze [[Nova]] katalog /home zlokalizowany jest na lokalnym serwerze plików tego klastra i dostępny (poprzez NFS) na wszystkich węzłach obliczeniowych klastrów w tej samej ścieżce. Z katalogów /home ze wszystkich maszyn są tworzone kopie zapasowe (''backupy''). Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń.
+
:Katalogi domowe użytkownika znajdują się w systemach plików /home. Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń. Przechowywanie plików o dużych rozmiarach jest niewskazane. W katalogach /home/$USER są tworzone krótkoterminowe kopie zapasowe danych użytkowników, z wykorzystaniem mechanizmu migawek (''snapshoty''). Do migawek użytkownicy mają dostęp w swoim katalogu domowym w podkatalogu <code>[[.snapshot]]</code>.  
  
−
* '''/scratch/$USER'''
+
* '''/lustre/scratch/''' <br> Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemie plików <code>/lustre/scratch</code> na [[Bem]].  <br> System plików [[Lustre]] jest dostępny ze wszystkich węzłów obliczeniowych klastra [[Bem]] oraz na węźle do archiwizacji archiwum.wcss.pl. <br> Kopie zapasowe katalogów w przestrzeni tymczasowej nie są wykonywane. <br> Użytkownik ma prawo dostępu jedynie do katalogów swoich zadań <code>/lustre/scratch/tmp/pbs.JobID</code> i swojego katalogu osobistego <code>/lustre/scratch/$USER</code>
−
:Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemach plików /scratch, które są oddzielne na wszystkich serwerach, włączając w to węzły klastrów Układ i Gromada. Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej. Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca. Rozmiary przestrzeni /scratch na każdym z komputerów podane są w rozdziale [[Maszyny obliczeniowe]]. Katalogi /scratch nie są archiwizowane i nie są robione ich kopie zapasowe.
+
** '''/lustre/scratch/tmp/pbs.JobID''' <br>  Katalogi tworzone są w momencie startu zadania i usuwane wraz z zakończeniem zadania. <br> Zmienna środowiskowa: $TMPDIR <br> Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej.
−
:'''UWAGA:''' Na klastrze [[Nova]] nie należy używać katalogów /scratch/$USER. Zostały one zastąpione przez katalogi /lustre/scratch/$USER które znajdują się na systemie plików [[Lustre]] który jest dostępny ze wszystkich węzłów obliczeniowych.
+
** '''/lustre/scratch/$USER''' <br> Katalogi osobiste na <code>/lustre/scratch</code> zakładane są po złożeniu przez użytkownika uzasadnionego wniosku, który wymaga rozpatrzenia przez administratora. Prośby o taki katalog można składać pod adresem '''kdm @ wcss.pl'''. <br> Zawartość tych katalogów nie jest usuwana w momencie zakończenia zadania obliczeniowego. <br> Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca.  
  
 
* '''/archiwum/$USER'''
 
* '''/archiwum/$USER'''
−
:Katalog /archiwum jest dostępny na komputerach [[Tezro]], [[Leo]] i [[Nova]]. Można tam umieszczać potrzebne dane, które tymczasowo nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]]. Odczytywanie przeniesionego pliku może potrwać od kilkunastu do kilkudziesięciu sekund, w tym czasie plik jest automatycznie przywracany - poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.  
+
:Katalog /archiwum na klastrze [[Bem]] jest dostępny tylko po zalogowaniu na dedykowany węzeł '''archiwum.wcss.pl'''. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. W archiwum można umieszczać ważne dane, które nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu [[Archiwizacja|archiwizacji]]. Odczytywanie pliku przeniesionego do archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, gdyż w tym czasie plik jest automatycznie przywracany. Poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.  
 
:Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
 
:Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
 +
:Zasady i techniki operacji na plikach opisane są na stronie [[Archiwizacja danych]].
  
−
'''Zobacz też:''' [[dostęp do KDM]], [[archiwizacja danych]].
+
{{uwaga2|Zapis "$USER" oznacza wartość zmiennej środowiskowej USER, w której system przechowuje nazwę (login) użytkownika.}}
 +
 
 +
'''Zobacz też:'''  
 +
* [[Lustre Best Practices | Lustre - zbiór najlepszych praktyk]]
 +
* [[archiwizacja danych]]
 +
* [[.snapshot]]
  
 
[[Kategoria:Podręcznik użytkownika]]
 
[[Kategoria:Podręcznik użytkownika]]

Aktualna wersja na dzień 13:28, 26 sie 2016

< Podręcznik użytkownika KDM < Dostęp do KDM < Dostępna przestrzeń dyskowa

Użytkownicy KDM mają na każdym serwerze do dyspozycji kilka katalogów, w których mogą przechowywać swoje pliki:

  • /home/$USER
Katalogi domowe użytkownika znajdują się w systemach plików /home. Należy przechowywać tam tylko pliki potrzebne do aktualnych obliczeń. Przechowywanie plików o dużych rozmiarach jest niewskazane. W katalogach /home/$USER są tworzone krótkoterminowe kopie zapasowe danych użytkowników, z wykorzystaniem mechanizmu migawek (snapshoty). Do migawek użytkownicy mają dostęp w swoim katalogu domowym w podkatalogu .snapshot.
  • /lustre/scratch/
    Katalogi przeznaczone na pliki tymczasowe generowane przez programy obliczeniowe znajdują się w systemie plików /lustre/scratch na Bem.
    System plików Lustre jest dostępny ze wszystkich węzłów obliczeniowych klastra Bem oraz na węźle do archiwizacji archiwum.wcss.pl.
    Kopie zapasowe katalogów w przestrzeni tymczasowej nie są wykonywane.
    Użytkownik ma prawo dostępu jedynie do katalogów swoich zadań /lustre/scratch/tmp/pbs.JobID i swojego katalogu osobistego /lustre/scratch/$USER
    • /lustre/scratch/tmp/pbs.JobID
      Katalogi tworzone są w momencie startu zadania i usuwane wraz z zakończeniem zadania.
      Zmienna środowiskowa: $TMPDIR
      Użytkownik ma prawa zapisu tylko do swoich katalogów w przestrzeni tymczasowej.
    • /lustre/scratch/$USER
      Katalogi osobiste na /lustre/scratch zakładane są po złożeniu przez użytkownika uzasadnionego wniosku, który wymaga rozpatrzenia przez administratora. Prośby o taki katalog można składać pod adresem kdm @ wcss.pl.
      Zawartość tych katalogów nie jest usuwana w momencie zakończenia zadania obliczeniowego.
      Użytkownik powinien kontrolować zajętość tych katalogów, aby zbędne pliki nie zajmowały niepotrzebnie miejsca.
  • /archiwum/$USER
Katalog /archiwum na klastrze Bem jest dostępny tylko po zalogowaniu na dedykowany węzeł archiwum.wcss.pl. Z tego węzła użytkownik ma dostęp do katalogu domowego i swojego katalogu na roboczym systemie plików. W archiwum można umieszczać ważne dane, które nie są wykorzystywane do bieżących obliczeń. Użytkownicy mają do dyspozycji prywatne archiwa, z prawami zapisu tylko do swoich katalogów. Pliki widziane w tym katalogu mogą zostać automatycznie przeniesione do systemu archiwizacji. Odczytywanie pliku przeniesionego do archiwum może potrwać od kilkunastu do kilkudziesięciu sekund, gdyż w tym czasie plik jest automatycznie przywracany. Poza tym korzystanie z archiwum nie różni się od korzystania ze zwykłego katalogu na dysku.
Archiwizowane pliki są przechowywane w dwóch kopiach i są tworzone ich kopie zapasowe. Archiwum ma dużą pojemność.
Zasady i techniki operacji na plikach opisane są na stronie Archiwizacja danych.
! Zapis "$USER" oznacza wartość zmiennej środowiskowej USER, w której system przechowuje nazwę (login) użytkownika.

Zobacz też:

Źródło: „https://kdm.wcss.pl/w/index.php?title=Dostępna_przestrzeń_dyskowa&oldid=5632”