Apache Pig zrodził z Apache Hadoop projektu i jest jednym z modułów, gdzie za zapewniając możliwość analizowania danych jest przetwarzane i przechowywane.
Świnia używa języka niestandardowych zapytań o nazwie "Pig Latin", który jest bardzo łatwy do nauczenia i obsługuje zarówno style relacyjne i funkcjonalne.
Oznacza to, że można używać go jako klasyczny język SQL korzysta z danych łączy i filtrów, lub użyć do jego możliwości MapReduce, elementy odwzorowujące danych i reduktory.
Domyślnie Apache Pig miał być używany wewnątrz instalacji Hadoop, ale nowsze wersje pozwalają uruchomić oddzielnie przez oddzielny JVM
Co nowego w tym wydaniu:.
- silniki wykonawcze Pluggable (aby umożliwić bieg wieprzowych na silnikach nie MapReduce w przyszłości)
- Tryb Auto-local (do pracy z małym rozmiarem danych wejściowych do uruchomienia w procesie)
- Fetch optymalizacji (w celu poprawy interaktywność z pomrukiem)
- Poprawiono maszty trybie lokalnym
- Wsparcie dla pamięci podręcznej poziomu użytkownika jar
- Wsparcie dla czarnych list i białych listach polecenia wieprzowych
- Kilka poprawek wydajności i cechy debuggability
- Kilka nie kompatybilny wstecz modyfikacje interfejsu zostały wprowadzone w tej wersji do pracy z silnikami świni nie MapReduce
Co nowego w wersji 0.14.0:
- silniki wykonawcze Pluggable (aby umożliwić uruchomienie wieprzowych na nie -mapreduce silniki w przyszłości)
- Tryb Auto-local (do pracy z małym rozmiarem danych wejściowych do uruchomienia w procesie)
- Fetch optymalizacji (w celu poprawy interaktywność z pomrukiem)
- Poprawiono maszty trybie lokalnym
- Wsparcie dla pamięci podręcznej poziomu użytkownika jar
- Wsparcie dla czarnych list i białych listach polecenia wieprzowych
- Kilka poprawek wydajności i cechy debuggability
- Kilka nie kompatybilny wstecz modyfikacje interfejsu zostały wprowadzone w tej wersji do pracy z silnikami świni nie MapReduce
Co nowego w wersji 0.11.0:
- To wydanie zawiera DateType typ danych, RANK, CUBE i Operatorzy zbiorczego Groovy UDF, niestandardowe oszacowanie reduktor, oparte na krotki schematu i integracja HCatalog DDL.
Co nowego w wersji 0.9.1:.
- Ta wersja współpracuje z Hadoop 0,20
Co nowego w wersji 0.6:
- Dodane Zebra jako projekt contrib. Zobacz http://wiki.apache.org/pig/zebra
- Dodane UDFContext, daje UDF sposób przekazać informacje od przodu do tyłu koniec i daje dostęp do JobConf UDFS w backend.
- Dodane opuścił sprzężenia zewnętrznego dla fragment kopią dołączyć.
- Dodano możliwość ustawienia priorytetu zadania z Pig Latin.
- Zwiększona wielu zapytań do pracy z łączy w niektórych przypadkach, .
- Reworked menedżer pamięci, aby znacznie zmniejszyć GC nad głową i poza awariami Heap.
- Interfejs Dodany Akumulator do UDF.
- Ponad 100 poprawek i usprawnień.
Wymagania :
- 1.6.x lub wyższy Java
- Apache Hadoop 0.20.x lub nowsza,
Komentarze nie znaleziono