Hadoopy

To jest w zasadzie biblioteka Pythona dla MapReduce pisemnej w Cython

Opis .

• Podobnie jak Hadoop interfejs API (wzorce projektowe użytkowe między interfejsami Python / Java)
• Ogólne kompatybilność z Dumbo, aby użytkownicy mogli przełączać się
• użytkowa na klastrach Hadoop bez Pythonie lub administratora dostępu
• Szybka konwersja i przetwarzanie
• Trzymaj się mały i dobrze udokumentowane,
• w sposób przejrzysty, co się dzieje
• Programy obchodzić się skomplikowane, .so-tych i ctypes rozszerzeń
• Kod napisany na hack-umiejętności
• Łatwy dostęp HDFS (np, czytanie, pisanie, ls)
• Pomoc (i nie powielać) większą Hadoop ekosystemu (np Oozie, warkot)
• Automatyczne zrównoleglanie pracy "auto-oozie" dostępne w projekcie przepływu hadoopy (utrzymywane z branży)
• Lokalne wykonanie niezmodyfikowanej pracy MapReduce z launch_local
• odczytu / zapisu plików sekwencyjne TypedBytes bezpośrednio do HDFS z python (readtb, writetb)
• Umożliwia drukowanie na stdout i stderr w zadaniach Hadoop nie powoduje problemy (używa "przeskoku" technika rury, oba są dostępne w stderr zadanie w)
• Działa na klastrów bez żadnych dodatkowych instalacji, Python, ani żadnych bibliotek Pythona (używa Pyinstaller które jest zawarte w tym drzewie źródłowym)
• Działa na OS X
• Ścieżka krytyczna jest Cython
• Łatwy dostęp HDFS (readtb i ls) wewnątrz Python, nawet wewnątrz systemem pracy,
• Interfejs badanej jednostki
• Raportowanie przy użyciu stanu i liczniki (i druk oświadczenia! Nie musisz się bać o nich w Hadoopy)
• Obsługuje wzorców projektowych w książce Lin & Dyer
• Typedbytes wsparcie (bardzo szybko),
• Wsparcie Oozie

Wymagania :

• Cython 0,13 lub wyższym,