LPBS

LPBS (Local przenośne serii System) jest narzędziem do emulowania PBS na lokalnej stacji roboczej.
PBS / MOMENT jest system planowania pracy, który jest używany na wielu klastrów obliczeniowych o wysokiej wydajności. Pakiet LPBS udostępnia narzędzia do uruchamiania skryptów pracy PBS na lokalnej stacji roboczej. Konkretnie, LPBS zapewnia polecenia lqsub które ma takie same opcje jak polecenia PBS qsub i uruchamia skrypt pracy lokalnie, w środowisku, praktycznie identyczny do jednego, że PBS / MOMENT dałaby. Zadanie będzie działać w tle i przypisać ID zadania. W przeciwieństwie do systemu PBS, LPBS nie wykona żadnego harmonogramu, ale będzie po prostu wykonać zadanie przedstawione mu. LPBS zapewnia dodatkowe narzędzia do zarządzania pracy z systemem.
instalacji
LPBS można zainstalować z PyPI, używając
pip install LPBS
Alternatywnie, opakowanie może być zainstalowany od źródła o
python setup.py install
Konfiguracja
LPBS przechowuje wszystkie jego konfiguracji i środowiska wykonawczego danych w folderze podane w zmiennej środowiskowej $ LPBS_HOME. Ta zmienna musi być zdefiniowane. Konfiguracja jest w lpbs.cfg plików wewnątrz $ LPBS_HOME. Jeśli ten plik nie istnieje, gdy którykolwiek z skryptów LPBS są prowadzone, plik konfiguracyjny z następujących wartości domyślnych zostaną utworzone:
[Serwer]
# Pełna nazwa hosta serwera składania (hostname.domain). Zostaną udostępnione
# Uruchomieniem zadania poprzez zmienną środowiskową PBS_SERVER. Praca zakończy identyfikatory
# W nazwie hosta serwera
Nazwa hosta: localhost
domeny: miejscowy
[Węzeł]
# Pełna nazwa hosta węzła realizacji (hostname.domain). Zostaną udostępnione
# Uruchomieniem zadania poprzez zmienną środowiskową PBS_O_HOST. Od LPBS jest
# Zaprojektowane do wykonywania pracy na szczeblu lokalnym, tutaj ustawienia powinny być ogólnie
# Identyczne jak w sekcji [Server]
Nazwa hosta: localhost
domeny: miejscowy
[LPBS]
# Ustawienie do wykonania pracy.
# Jeśli "username_in_jobid" jest włączona, identyfikatory pracy będzie miało postać
# 'seqnr.user.hostname.domain ", gdzie" użytkownik "jest nazwa użytkownika
# Złożenia pracy.
# Plik podany w 'sequence_file "jest używany do śledzenia z" seqnr "
# Pojawiające się w ID pracy.
# Plik podany w pliku dziennika '' służy do rejestrowania wszystkich zdarzeń LPBS. Zarówno
# 'sequence_file "i" logów "są w stosunku do $ LPBS_HOME.
username_in_jobid: 0
sequence_file: sekwencja
Raport: lpbs.log
[Scratch]
# Ustawienia przestrzeni zarysowania przekazanych zadań. "Scratch_root" definiuje
# Miejsce, w którym praca powinna zapisywać dane tymczasowe. Jeżeli podane jako ścieżki względnej,
# To jest w stosunku do $ LPBS_HOME. Zmienne środowiskowe zostanie rozszerzony na
# Czas złożenia pracy.
# Jeśli wartość # 'create_jobid_folder "jest ustawiony na 1, folder z nazwą
# Pełny identyfikator zadania jest tworzony wewnątrz scratch_root. Ten folder jest automatycznie
# Usunięte po zakończeniu pracy, jeśli nie "keep_scratch" jest ustawiona na 1. Jeśli zadanie
# Udało, zarysowania nie zostaną usunięte, chyba że "delete_failed_scratch" jest ustawiony
# 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Zawiadomienie]
# Ustawienia, w jaki użytkownik powinien być powiadamiania o zdarzeniach, takich jak na początku
# I koniec pracy. Jeśli sent_mail jest ustawiony na 1, e-maile będą wysyłane do
# powiadomienia w zależności od wartości '-m' opcją lqsub. Jeśli
# 'send_growl "jest ustawiony na 1, Growl (http://growl.info) służy do powiadomienia
# Na MacOS X. powiadomień poprzez Growl nie uwzględnia opcji "-m"
# Podczas składania pracy.
send_mail: 0
send_growl: 0
[Mail]
# Ustawienia SMTP dla powiadomień e-mail. Powiadomienia e-mail zostanie wysłana z
# Adres podany przez opcję "z". Serwer SMTP podane w "smtp" jest
# Używany do wysyłania wiadomości e-mail, jeżeli "autentyczność" jest ustawiony na 1, uwierzytelnianie jest
# Zrobić z danym "nazwę użytkownika" i "hasło". Jeśli "TLS" wynosi 1, TLS
# Zostaną użyte.
od: nobody@example.org
SMTP: smtp.example.com:587
Użytkownik:
Hasło: ukryty
uwierzytelniania: 0
TLS: 1
[Growl]
# Ustawienia powiadomień Growl. Powiadomienia wysyłane są albo
# Localhost lub zdalnego komputera za pośrednictwem protokołu GNTP. "Nazwa hosta" Ustawienie
# Podaje adres i port serwera Growl, podane 'Hasło' jest
# Służy do uwierzytelniania (zauważ, że jeśli wysyłanie localhost, nie
Uwierzytelnianie # jest konieczne, a hasło powinno być pusta). Jeśli
# "Lepkie" jest ustawiony na 1, powiadomienia Growl będzie lepki. To jest
# Możliwość wysyłania powiadomień do więcej niż jednego hosta. W tym przypadku, zarówno
# "Nazwa hosta" i "hasło" powinny być oddzielone przecinkami lista wartości, z
# Każdy element odpowiadający jednego hosta. Na przykład
# Hostname: localhost, remotehost
# Hasło: tajne
Nazwa hosta: localhost: 23053
hasło:
Przyklejony: 0
[Zaloguj]
# "logów" podaje nazwę pliku dziennika centralnego, w stosunku do $ LPBS_HOME.
Raport: lpbs.log
Zauważ, że jeśli używany jest domyślny plik konfiguracyjny, zmienna $ SCRATCH_ROOT środowiska muszą być zdefiniowane i wskazuje na katalog powinien istnieć z prawami do zapisu dla wszystkich użytkowników, którzy złożą oferty pracy.
W przypadku instalacji całego systemu, / var / lpbs jest odpowiednie miejsce dla $ LPBS_HOME. Zmienna może być ustawiona w /etc/bash.bashrc dla wszystkich użytkowników. W przypadku instalacji w przestrzeni użytkownika, zaleca się virtualenv.
Po głównym pliku konfiguracyjnym, plik $ HOME / .lpbs.cfg będzie również przeczytać. Użytkownik może wykorzystać, aby zastąpić ustawienia w konfiguracji systemu. Wreszcie polecenie qsub --config ma również możliwość, która pozwala na określenie jeszcze dodatkowy plik konfiguracyjny do odczytu.
Zastosowanie
LPBS zawiera skrypty lqsub, lqstat i lqdel, które naśladować PBS / MOMENT polecenia qsub, qstat i lqdel odpowiednio. Komenda lqsub służy do zgłaszania miejsc pracy, lqstat jest używane, aby pokazać informacje na temat uruchamiania zadań, a lqdel jest używany, aby przerwać pracę z systemem. Na przykład:
Goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
Goerz @ localhost: ~> lqstat
Praca id Nazwa użytkownika Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest Goerz 00:00:22
Goerz @ localhost: ~> lqstat -f 3.localhost.local
Id Praca: 3.localhost.local
& Nbsp; job_name = pbstest
& Nbsp; Job_Owner = Goerz
& Nbsp; serwer = localhost.local
& Nbsp; exec_host = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
Goerz @ localhost: ~> lqdel 3.localhost.local
Komenda qsub jest zaprojektowany, aby zrozumieć wszystkie opcje wiersza poleceń komendy qsub w wersji 2.18 MOMENTU, chyba, że ​​wszystkie opcje dotyczące planowania są zignorowane. W związku z tym, wszystkie skrypt pracy PBS powinno być submittable bez zmian. Aby uzyskać szczegółowe informacje, uruchom lqsub, lqstat i lqdel z opcją --help, i / lub spojrzeć na moment ręczny.
Przykład pracy Script
Poniżej znajduje się przykład prostego skryptu pracy, że PBS będzie wydrukować pełną środowisko pracy widzi. Możesz złożyć tę pracę zarówno LPBS i PBS / moment, aby sprawdzić, z odpowiednimi ustawieniami w lpbs.cfg, LPBS zapewnia identyczną środowiska jako LPBS.
#! / Bin / bash
#PBS N pbstest
#PBS -j Oe
#PBS -l Węzły = 1: PPN = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10mb
#PBS -o Pbstest.out
echo "################################################ #### "
echo "Użytkownik: $ PBS_O_LOGNAME"
echo "wsadowym rozpoczęto $ PBS_O_HOST"
echo "PBS id pracy: $ PBS_JOBID"
echo "PBS Nazwa zadania: $ PBS_JOBNAME"
echo "PBS katalog roboczy: $ PBS_O_WORKDIR"
echo "Praca rozpoczęła się" `` hostname` dzień spełnienia wymogu
echo "Bieżący katalog:" `pwd`
echo "środowisko PBS: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "pełne środowisko"
printenv
echo "################################################ #### "
echo "Praca jest wykonywana w następnym węźle"
cat $ {PBS_NODEFILE}
echo "################################################ ########## "
echo "Praca Ukończony" `dzień spełnienia wymogu
exit 0

Wymagania :

• Python