Condor

Condor jest teraz wpływ zarówno technologicznych i socjologicznych wyzwań takiego środowiska obliczeniowego,
Condor Zespół buduje niesamowite narzędzia, które umożliwiają naukowcom i inżynierom, aby zwiększyć ich wydajność obliczeniową

Co nowego w tym wydaniu:.

< li> 7.6.X jest nowa stabilna serii Condor.
• Wiele nowych funkcji dodano od 7.4.X.

Co nowego w wersji 7.3.2:

• Informacje o wydaniu:
• format wyjścia z condor_status z opcją -grid zostało zmienione, aby zapewnić bardziej przydatnych informacji.
• Usunięto nowej linii dołączony do końca produkcji condor_status -format. Dlatego kod, który analizuje dane wyjściowe tego polecenia powinien być ostrożny podczas przycinania do ostatniej linii.
• Nowe funkcje:
• condor_fetchlog mogą teraz pobierać pliki historię demona condor_schedd. A, plik historii prowadzonego przez condor_schedd demona mogą być teraz tworzone codziennie lub co miesiąc.
• condor_ckpt_server automatycznie oczyścić nieaktualne pliki z punktami kontrolnymi. Zmienne konfiguracyjne, które kontrolują tego problemu opisano poniżej.
• condor_ckpt_server (albo 32-bit lub 64-bit) wykonywalny będzie teraz poprawnie komunikować się między 32-bit i 64-bit złożyć węzłów. Jeśli jakimś trochę szansy pojawić problemy szerokość w protokole punktu kontrolnego (na przykład, wielkości plików), wyraźne komunikaty o błędach są rejestrowane w dziennikach serwera punktów kontrolnych.
• Nowe narzędzie condor_ssh_to_job umożliwia interaktywne debugowanie pracy z systemem. Zobacz stronę podręcznika na [*] o szczegóły.
• Komenda condor_status jest już w zasadzie szybciej, zwłaszcza z opcją -format.
• Siatka Wszechświat typu grid GT5 został dodany do przedłożenia nowego serwisu Globus GRAM5. Gdy usługa GRAM jest identyfikowany jako GT5, jobmanager dławienia i siatki Monitor nie są używane. Patrz punkt 5.3.2 o szczegóły.
• Siatka Siatka typu wszechświat Krem został dodany do przedłożenia do służby pracy CREAM gLITE. Patrz punkt 5.3.8 o szczegóły.
• Po mało deskryptorów do tworzenia nowych gniazd sieciowych, demon condor_schedd teraz unika nieograniczona układania się z wiadomości, że okresowo wysyła do condor_negotiator i condor_startd.
• Obsługa wydajność i niewydolność Monitora Sieci zostały ulepszone.
• W przypadku typu grid nordugrid we wszechświecie sieci, informacje o stanie pracy jest teraz uzyskać za pomocą serwera LDAP Nordugrid łuku, co powinno znacznie poprawić wydajność. Ponadto, może teraz powiedzieć, Condor, gdy te miejsca pracy są uruchomione.
• Nowy -valgrind opcja condor_submit_dag przyczyny condor_submit_dag wygenerować przedstawienia plik opisu, który używa valgrind na condor_dagman zamiast condor_dagman binarny jako jego pliku wykonywalnego.
• condor_dagman teraz leniwie ocenia i otwiera węzłów logi pracy. Zamiast analizowania wszystkich przedstawić opis plików i natychmiast otwierają swoje określone pliki dziennika podczas rozruchu condor_dagman teraz analizuje przedstawić opis pliki tuż przed każda praca jest złożony i ma każdy plik dziennika otwarty tylko wtedy, gdy odpowiednie miejsca pracy są w kolejce lub wykonywanie skryptów POST , Ponadto automatycznie generuje condor_dagman plik dziennika domyślne użytkownika dla każdej pracy węzła, który nie zawiera jeden.
• Zarówno wsparcie i dokumentacja dla wszechświata MPI zostały usunięte. Aplikacje MPI ze wsparcia w czasie korzystania z równoległego wszechświata.
• Podczas testu w condor_startd demona oprogramowania maszyny wirtualnej nie (do maszyn skonfigurowanych jako zdolny do uruchamiania maszyn wirtualnych), condor_startd okresowo ponów próbę aż do skutku.
• nordugrid_gahp ogranicza się liczbę wykonywanych połączeń do każdego serwera i ponownie wykorzystuje ARC NorduGrid połączenia, jeśli to możliwe.
• Dodano funkcję eval ClassAd (), która przyjmuje jako argument ciąg znaków i ocenia zawartość łańcucha jako wyrażenie ClassAd. Przykładem polityki, w którym jest to przydatne jest opisany w rozdziale 3.5.9 na zawieszenie pracy.
• Nowy condor_q opcja -attributes ogranicza atrybuty, które są wyświetlane podczas korzystania z -xml lub opcje -długi. Ograniczenie liczby atrybutów zwiększa wydajność zapytania.
• zarządzanie systemem zasilania Condor są teraz realizowane jako plug-in. W szczególności, condor_startd teraz prowadzi program zewnętrzny, określony przez konfiguracji zmiennej HIBERNATION_PLUGIN, aby wykonać wykrywanie dostępnych niskich stanach zasilania i przełączania do tych niskich stanów energetycznych.
• Nowy Condor demon condor_rooster został dodany do obudzić maszyn hibernacji, gdy wyrażenie określone przez zmienną UNHIBERNATE konfiguracji staje się prawdą. Zmienne konfiguracyjne dotyczące condor_rooster opisane są w punkcie 03.03.35.
• Dodano możliwość, aby wyodrębnić informacje z bufora państwa czytelnika dziennika zdarzeń użytkownika do czytnika dziennika użytkownika. Jest to realizowane poprzez nową ReadUserLogStateAccess C klasy ++, jak określono w read_user_log.h.
• Zmiany wartości konfiguracji zmiennej CERTIFICATE_MAPFILE lub zawartości pliku, do którego się odnosi, nie wymagają już pełny restart Condor. Zamiast condor_reconfig polecenie spowoduje zmiany do utylizacji.
• demon condor_master wydrukuje ścieżkę i argumenty do wszelkich demonów to zaczyna jeśli D_FULLDEBUG jest włączony. Wcześniej nie było sposobu, aby to, aby wyświetlić argumenty, z którymi był uruchamiania demona.
• demon condor_had ma teraz możliwość kontrolowania demonów inne niż condor_negotiator. Jest kontrolowana przez makro HAD_CONTROLLEE.
• Condor rozpoznaje teraz VOMS rozszerzeń z proxy X.509. Atrybuty VOMS są wpisane w pracy ClassAd przypisują X509UserProxySubject.
• condor_startd może teraz posprzątać osieroconych maszyn wirtualnych, po katastrofie Condor lub systemu operacyjnego hosta.
• Po katastrofie, nie restartuje condor_gridmanager wszystkie z jobmanagers do pracy GT2. Powinno to skrócić czas odzyskiwania.
• Condor działa lepiej z ClassAds sklasyfikowanych jako rodzajowa w demonie condor_collector. Różne demony, które rejestrują się ClassAds generycznych mogą teraz mieć narzędzia, które korzystają z opcji -subsystem manipulować ich ClassAds prawidłowo.
• Condor oferuje teraz mechanizm egzekwowania ścisłego ograniczenia dla niektórych zasobów wszechświatów pracy z systemem.
• Konfiguracja zmiennych uzupełnienia i zmiany:
• nowa zmienna konfiguracja EMAIL_SIGNATURE określa podpis zwyczaj być dołączone do wiadomości e-mail wysłany przez system Condor. Jeśli zdefiniowana, to zwyczaj ten podpis zastępuje jeden domyślny określony wewnętrznie. Nie ma wartości domyślnej dla tej zmiennej.
• Nowa konfiguracja zmiennej CKPT_SERVER_CLIENT_TIMEOUT informuje condor_schedd jak długo w sekundach jest gotów czekać, aby spróbować porozmawiać z procesu condor_ckpt_server przed uznającej condor_ckpt_server dół. Patrz punkt 3.3.11 dla pełnego opisu.
• nowa zmienna konfiguracja CKPT_SERVER_CLIENT_TIMEOUT_RETRY informuje condor_schedd że po condor_ckpt_server jest już oznaczony jako dół, jak sekund może upłynąć musi condor_schedd będzie próbować komunikować się z condor_ckpt_server ponownie. Patrz punkt 3.3.11 dla pełnego opisu.
• nowa zmienna konfiguracja CKPT_SERVER_REMOVE_STALE_CKPT_INTERVAL informuje condor_ckpt_server, aby rozpocząć usuwanie przestarzałych punktów kontrolnych w określonym odstępie czasu w sekundach. Patrz punkt 3.3.8 dla pełnego opisu.
• nowa zmienna konfiguracja CKPT_SERVER_STALE_CKPT_AGE_CUTOFF informuje condor_ckpt_server jak stary czas dostępu do pliku punktu kontrolnego musi być, aby być uznane za przestarzałe. Czas ten jest porównywany z aktualną pojęciem się gdy serwer checkpoint sprawdza punktów kontrolnych plik obrazu. Patrz punkt 3.3.8 dla pełnego opisu.
• Nowa konfiguracja zmiennej SlotWeight mogą być wykorzystywane, aby dać większą wagę gniazdo przy obliczaniu zużycia, obliczania udziałów uczciwych i egzekwowanie limitów grupowych. Zobacz 03.03.10 do pełnego opisu.
• nowa zmienna konfiguracja MAX_PERIODIC_EXPR_INTERVAL realizuje pułap czasu między oceną wyrażeń okresowych, ze względu na czas adaptacyjnego zakładane w konfiguracji zmiennej PERIODIC_EXPR_TIMESLICE. Zobacz 03.03.11 do pełnego opisu.
• Nowa konfiguracja zmiennej GRIDMANAGER_SELECTION_EXPR mogą być wykorzystane do kontroli, ile procesów condor_gridmanager będzie zrodził zarządzać siatki pracy wszechświata. W ramach tej zmiany usunięto zmiennej konfiguracji i kod nośną dla GRIDMANAGER_PER_JOB od nowa zmienna konfiguracja zastępuje go. Zobacz 03.03.11 do pełnego opisu.
• Konfiguracja zmiennej GRIDMANAGER_MAX_PENDING_SUBMITS_PER_RESOURCE i odpowiednie przepustnicy GRIDMANAGER_MAX_PENDING_SUBMITS zostały usunięte.
• Nowa konfiguracja steruje zmienną GRID_MONITOR_DISABLE_TIME, jak długo będzie czekał po condor_gridmanager napotyka błąd przed próbą ponownego uruchomienia zadania Siatka Monitor. Zobacz 03.03.23 do pełnego opisu.
• Nowy predefiniowanych konfiguracji makro DETECTED_MEMORY wskazuje ilość fizycznej pamięci (RAM) wykryty przez Condor. Wartość jest podawana w MB.
• Nowe predefiniowanych konfiguracji makr DETECTED_CORES wskazuje liczbę rdzeni procesora wykryte przez Condor.
• Nowa konfiguracja zmiennych kontrole DELEGATE_FULL_JOB_GSI_CREDENTIALS czy pełne lub ograniczone proxy X.509 jest delegowanych do pracy wszechświata typu siatka siatka GT2. Zobacz 03.03.26 do pełnego opisu.
• Nowa konfiguracja zmiennej UNHIBERNATE jest używany przez condor_startd reklamować w ClassAd logiczną wyrażenia określające, kiedy maszyna powinna się obudzić, na przykład przez condor_rooster. Zobacz 03.03.10 do pełnego opisu.
• nowa zmienna konfiguracja HIBERNATION_PLUGIN określa ścieżkę do wtyczki, w którym condor_startd używa się zarówno do wykrywania niskich zdolności stan zasilania maszyny i przełączyć urządzenie w stan niskiego poboru energii. Zobacz 03.03.10 do pełnego opisu.
• Nowa konfiguracja zmiennej HIBERNATION_PLUGIN_ARGS określa dodatkowe argumenty wiersza poleceń, które przechodzą condor_startd do wtyczki, gdy powołując się na to, aby przełączyć urządzenie w stan niskiego poboru energii. Zobacz 03.03.10 do pełnego opisu.
• Nowa konfiguracja zmiennej HIBERNATION_OVERRIDE_WOL mogą być stosowane do kierowania condor_startd ignorować Wake On LAN (WOL) możliwości interfejsu sieciowego urządzenia i aby przełączyć do stanu niskiego poboru energii, nawet jeśli interfejs nie obsługuje WOL, lub jeśli WOL jest wyłączony na tym. Zobacz 03.03.10 do pełnego opisu.
• Nowa konfiguracja zmiennych kontrole DAGMAN_USER_LOG_SCAN_INTERVAL jak długo condor_dagman czeka między sprawdzenie logów pracy dla aktualizacji statusu. Zobacz 03.03.25 do pełnego opisu.
• nowa zmienna konfiguracja DAGMAN_DEFAULT_NODE_LOG ustawia domyślną nazwę pliku dziennika dla nowej domyślnej condor_dagman pliku dziennika funkcji węzła. Zobacz 03.03.25 do pełnego opisu.
• Usunięto konfiguracji DAGMAN_DELETE_OLD_LOGS zmienne; Nowy kod odczytu pliku dziennika sprawia, że ​​przestarzałe.
• Konfiguracja HAD_CONTROLLEE nowa zmienna jest używana do określenia nazwy demona których kierownice condor_had. Nazwa ta powinna być zgodna z nazwą demona w DAEMON_LIST w condor_master w.
• Błędy Naprawiono:
• Naprawiono błąd w funkcji ClassAd gdzie argumenty, które powinny zostać właściwie zamiast wymuszano na strunach ocenia się ERROR.
• Poprawiono mylący komunikat diagnostyczny z JobRouter, co się stało, gdy praca została usunięta w ciągu 5 minut od ich złożenia.
• Naprawiono błąd, w którym wykorzystanie dynamicznych gniazd (patrz punkt 3.13.7) spowodował ClassAd maszyn przypisują SLOT_STARTD_ATTRS zniknąć z ClassAd dla niektórych gniazdach.
• Naprawiono błąd z systemem Windows platforma, w której okno przynależności do Condor pracy nie otrzyma wiadomość farby.
• Naprawiono błąd powodujący awarię condor_q -analyze kiedy nie było condor_schedd plików demon ClassAd.
• Poprawiono awarii condor_procd spowodowane kiedy środowisko monitorowanego procesu przekroczyła 1MByte w katalogu / proc.
• Naprawiono błąd systemu Windows platformy, które mogą spowodować jego awarię po condor_credd o poświadczenie nie jest w magazynie haseł.
• Naprawiono błąd, który powodował blokadę obrotu dziennika zdarzeń pracy mają być utworzone z nieprawidłowymi uprawnieniami.
• Naprawiono błąd w obrót zdarzeń pracy, które mogą spowodować, że nigdy nie zostanie obrócone w porcie systemu Windows Condor.
• Naprawiono potencjalny sytuacji wyścigu podczas inicjalizacji dziennika zdarzeń pracy.
• Poprawiono wyścigu, które mogą spowodować awarię z condor_collector i condor_schedd na zamknięciu.
• Naprawiono błąd, w którym condor_master czasami umierają i stworzyć plik dprintf_failure.MASTER gdy albo ponownego uruchamiania powodu nowych znaczników czasu binarnych lub gdy rozpoczął na początku.
• Naprawiono wyciek pamięci zmiennych konfiguracyjnych związanych z SOAP, które wystąpiły podczas Condor została skonfigurowana.
• Naprawiono błąd, w którym przedstawić opis pliku cron_day_of_week polecenie zostało błędnie ignorowane.
• Poprawiono błąd, w którym zmienne konfiguracyjne i MAX_JOB_QUEUE_LOG_ROTATIONS GRIDMANAGER_SELECTION_EXPR nie działa prawidłowo w rozruchu; pracowali tylko po condor_reconfig.
• Naprawiono błąd, w którym operacje SOAP były nieprawidłowo autoryzowanym z IP rówieśniczej.
• Naprawiono błąd z systemem Windows platformy, w których nie wszystkie demony Condor zostały zaufaniem Zapora systemu Windows (wcześniej znanej jako Zapora połączenia internetowego lub ICF).
• Poprawiono wyścigu wyłączenie w condor_master w odniesieniu do wysokich demonów dostępności.
• Naprawiono błąd, w którym błędnie określona demon Condor go zabrakło deskryptora gniazda.
• Naprawiono błąd, gdzie condor_schedd będzie blokować przez bardzo długi okres czasu, podczas próby połączenia się z serwerem w dół punktu kontrolnego. Teraz condor_schedd zrobi blokowanie połączenia z limitu czasu do serwera kontrolnego do konfigurowalnego liczbę sekund. Jeśli połączenia nie powiodła się, condor_schedd wprowadzi moratorium na podłączenie się do serwera, aż do punktu kontrolnego okresie moratorium konfigurowalne podań. Zmienne plików konfiguracji, które opisują ten problem są opisane powyżej.
• Zmienione czek, że condor_dagman robi dla innych condor_dagman przypadkach prowadzących ten sam DAG, jeśli znajdzie plik blokady przy starcie. Teraz, jeśli condor_dagman nie ma pewności, czy inne DAGMan żyje nadal, a nie zamykania.
• Naprawiono poważny wyciek deskryptorów plików w demona Bocianem.
• Naprawiono błąd, w którym były udane transfery Stork oznaczone jako nie powiodło się.
• Naprawiono rzadkie wyciek pamięci w kodzie odczytu plik dziennika zdarzeń użytkownika przy czytaniu źle sformatowane wydarzenia.
• Naprawiono błąd, w którym wiele ClassAds maszyn w condor_collector o tej samej nazwie, ale różne wartości atrybutów StartdIPAddr spowodowałyby condor_negotiator aby wyjść z błędu. To jest niezwykłe i nie powinno się zdarzyć w typowej instalacji Condor. Najbardziej prawdopodobną przyczyną jest za pomocą condor_advertise do reklamowania własnych ClassAds do siatki kojarzeń.
• Naprawiono błąd, który powodował, że condor_dagman do zrzutu pamięci, jeśli wszystko złożyć próby nie powiodły się na węźle DAG o skrypt POST. Ten problem istnieje od wersji 7.1.4 Condor.
• Naprawiono wyciek pamięci w condor_schedd, które miały miejsce podczas konfiguracji zmiennej NEGOTIATOR_MATCH_EXPRS był używany.
• Naprawiono błąd w kodzie platformy Windows, który traktuje skryptów jako plików wykonywalnych. Nieznany rozszerzenia plików były traktowane jako błąd, a nie jako plik wykonywalny Windows.
• condor_job_router teraz poprawnie ustawia atrybut EnteredCurrentStatus ClassAd do bieżącego czasu podczas tworzenia nowego zadania routowaną. Wcześniej kopiowane tego atrybutu z oryginalnej pracy.
• condor_job_router emituje bardziej przyjazny komunikat dziennika, gdy zauważa, że ​​kierowane egzemplarz pracy, został usunięty.
• fix został złożony problem widziany w 7.3.1, w którym demony Condor wykorzystujące BCK łączenia się z innymi Condor demonów czasami zużywają duże ilości czasu procesora bez powodu.
• Poprawiono rzadki przypadek awarii błąd, w którym próbuje się połączyć poprzez BCK może pozostać w stanie oczekiwania w nieskończoność.
• tylko Unix błędów spowodowanych Condor demony, aby nie uruchomić, jeśli MAX_FILE_DESCRIPTORS został skonfigurowany wyższy niż obecny dysk limitu dziedziczone przez Condor. Jeśli Condor jest uruchomiony jako root, to już nie jest.
• condor_gridmanager teraz reklamuje ClassAds siatki prawidłowo, gdy istnieje wiele demonów condor_collector.
• Podczas korzystania condor_q -xml i -format wspólnie ograniczają liczbę ClassAd atrybuty zwracane w kwerendzie, znacznik kontenera XML nie został wygenerowany. To jest stała, ale teraz preferowany sposób ograniczyć zwracane atrybuty jest użycie condor_q -attributes opcji.
• Naprawiono błąd, w którym condor_master Unix nie udało podczas próby uruchomi się ponownie, jeśli konfiguracja zmiennej MASTER_LOCK określono, czy condor_master został wywołany z opcją -t. Ten problem istnieje od serii 7.0, i prawdopodobnie istnieje o wiele dłużej.
• Naprawiono wyciek pamięci istotne w gahp_server. Ten wyciek był obecny tylko w wersji 7.3.x poprzednich kondora.
• Naprawiono błąd, który może spowodować, że zadanie zostanie usunięte, a następnie wydany odbyło się powrócić do stanu gotowości.
• Pliki jar Globus dystrybuowane z x86-64 RHEL 5 RPM zostały uszkodzone, powodując zadania typu GT4 siatki na porażkę. Błąd ten został usunięty.

Co nowego w wersji 7.2.2:

• Dodano pełną port Condor Debiana 5.0 na platformie x86.
• Dodano obcięte port Condor Debiana 5.0 na platformie x86_64.
• Dodano -DumpRescue flagi wiersza polecenia condor_dagman i condor_submit_dag. Flaga ta jest przeznaczona głównie do testowania.
• Dodano wsparcie dla opcji -debug do condor_qedit.
• Praca Router używa teraz czas plasterek timer dla okresowej oceny ekspresji, podobny do condor_schedd demona. Przedział ocena jest kontrolowana przez konfiguracji zmiennej PERIODIC_EXPR_INTERVAL, i domyślnie do 60 sekund, w tym samym wartości domyślnej używanej przez condor_schedd demon.
• Praca Router teraz resetuje pracę źródłowego, jeśli awaria podczas aktualizowania condor_schedd demona dla okresowego wypowiedzi, które oceniano na True. Wyrażenia okresowe zadanie powinno zostać ponownie ocenione trochę czasu w przyszłości z udanej aktualizacji.

Co nowego w wersji 7.2.0:.

• Główne udoskonalenia

Co nowego w wersji 7.0.5:

• Ta wersja zawiera wiele poprawek błędów i usprawnień do błędu obchodzenie się z pracy wszechświata lokalnego.
• Należy pamiętać, że niektóre z poprawek są związane z bezpieczeństwem; w związku z tym, strony powinny albo modernizacji lub ograniczyć uprawnienia, kto może przekazywać zadania Condor do zaufanych użytkowników.