Jug

Dzbanek jest implementacja Pythona ram MapReduce (obecnie standardową częścią Hadoop ), co pozwala programistom pisanie kodu, który może działać w różnych formach zrównoleglenia.
Oznacza to kod, który może działać równolegle na tym samym komputerze lub w klastrze obliczeniowym (wiele maszyn).
Jug pozwala programistom do organizowania kodu na mniejsze kawałki i wybierając, gdzie, jak i kiedy go uruchomić.
Choć może to być na wierzchu dla małych stron internetowych i aplikacji, to zachowanie może być bardzo przydatne w zastosowaniach o wysokim natężeniu ruchu lub obsługi dużych ilości danych.
Dzbanek może pracować i przechowywania danych lokalnie poprzez twardy dysk, lub wykorzystywać zdalne przechowywanie. Na tym ostatnim przypadku, Redis bazy danych jest obsługiwana

Opis .

• Trwałe przechowywanie danych Wsparcie
• ponownie wykorzystuje wyniki cząstkowe,
• Obsługa współbieżności
• lokalnego magazynu danych
• Pilot zdalnego przechowywania danych
• Sprawdź Status operacji

Co nowego w tym wydaniu:

• Poprawki Python 3 Kompatybilność
• fsync (katalog) w pliku backend
• haki Jug (nadal w większości nieudokumentowane, ale już umożliwiając wewnętrznego uproszczenie kodu)

Co nowego w wersji 0.9.7:

• Zastosowanie Fix Numpy podklasy
• Redis Fix URL analizowania
• Fix `` shell`` nowsze wersje ipython
• Prawidłowo polegać na nie-sqlite `` status``

Co nowego w wersji 0.9.6:

• Szybsze dekodowanie
• Dodano skrypt Dzbanek-wykona
• Dodane opisać () Funkcja
• Dodane write_task_out () Funkcja

Co nowego w wersji 0.9.1:

• Dodane `` webstatus`` komenda
• Dodane BValue () Funkcja
• Naprawiono błąd w `` shell`` komendy (`` value`` nie był w globalnej przestrzeni nazw),
• Ulepszona tożsamości ()
• Naprawiono błąd w użyciu Tasklets i --aggressive-rozładunek
• Naprawiono błąd z Tasklets i snu, dopóki / wyboru

Co nowego w wersji 0.9:

• W obecności bariery (), uruchom ponownie jugfile , To sprawia, że ​​bariery znacznie łatwiejsze w użyciu.
• Dodane set_jugdir do publicznych API.
• Dodane CompoundTaskGenerator.
• Pomoc subclassing zadania.
• Należy unikać tworzenia katalogów w pliku backend, chyba że jest to konieczne.
• Dodaj jug.mapreduce.reduce (który naśladuje wbudowane zmniejszyć).

Co nowego w wersji 0.8.1:

• Redis Fix zaplecza dla nowej wersji modułu klienta
• Szybsza magazyn plików dla dużych plików,
• Fix `invalidate` z Tasklets
• Zainstaluj testy i mają im być uruchamianego
• Zmieniono metodę obliczenia skrótu. Ma to szczególny przypadek na tablicach Numpy
• (dla prędkości) i jest bardziej rozciągliwa przez hak __jug_hash__
• Naprawiono błąd z Tasklet nie zależności właściwie uwzględnione
• Fix shell komenda w nowszych wersjach ipython
• Dodaj __FILE__ atrybut do fałszywej jugmodule

Co nowego w wersji 0.8:

• Tasklets
• Naprawa błędów w sen, aż i czyszczenia
• Naprawa błędów z CompoundTask (potrzebne do uruchomienia dzbanek wykonać dwa razy).

Co nowego w wersji 0,8-b0:

• Tasklets - Naprawa błędów i snu, dopóki czyszczenie .

Co nowego w wersji 0.7.4:

• Sprawa Fix gdzie ~ / .jug / configrc robi nie istnieje.
• Drukuj nazwa hosta, aby zablokować plik na file_store.
• refactored realizacja opcji.
• zadania Fix rozładunek, które nie działają.
• MapReduce Fix pustego wkładu.

Co nowego w wersji 0.7.3:.

• Parse ~ / .jug / configrc
• Naprawiono błąd z czasów oczekiwania.
• W przypadku oszczędzania z Numpy specjalne tablice.
• Dodaj do bardziej wyrazistej składni jugdir.
• Zapisz dict_store zaplecza na dysku.

Co nowego w wersji 0.7.2:.

• wliczony brakujące pliki w dystrybucji

Co nowego w wersji 0.7.1:.

• sen aż komendy
• Usunięto bariery () oraz interakcji MapReduce.
• Poprawa dokumentacji.

Co nowego w wersji 0.7:

• Lepsze `` polecenie shell``
• Metoda przepisał do załadunku jugfiles
• Zadania mają oryginalną funkcję dostępną jako `f`

Co nowego w wersji 0.6.9:.

• polecenie Nowy wyboru
• load_all () wewnątrz muszli.

Co nowego w wersji 0.5.2:.

• Nowe polecenie `shell`
• Kompresja w Redis zaplecza.
• Poprawa prędkości dla "unieważnia" komend.

Co nowego w wersji 0.5.1:

• Redis zaplecza
• W zależności Słownik
• Zmieniono interfejs wiersza poleceń (command dzbanek jugfile ...)

Wymagania :

• Python 2.6 lub wyższy,