Apache Hadoop

Apache Hadoop został pierwotnie opracowany przez Yahoo, a projekt jest połączeniem pomiędzy poprzednimi wspólnych repo Apache Hadoop rdzenia i Apache Hadoop.

Projekt Hadoop zyskał dużo rozgłos dzięki jego świetne wyniki w realizacji wielu serwera rozproszonego systemu komputerowego do obsługi dużych ilości danych.

Sam projekt jest faktycznie składa się z czterech części. Jednym z nich jest Hadoop Common, tak zwany rdzeń, który umożliwia wszystkie inne moduły do ​​pracy, drugi jest jego własny system plików - HDFS (Hadoop Distributed File System), trzeci jest ramowa przędzy szeregowanie Hadoop, a na końcu nie jest system Hadoop MapReduce za wspieranie obliczenia równoległe.

Używając tych łamanie systemu uziemienia, Apache udało się stworzyć wiele innych projektów ubocznych, takich jak:

- Apache Ambari

- Apache Avro

- Cassandra

- Apache HBase

- Apache Hive

- Apache Kornak

- Apache Pig

- Apache Spark

- Apache Tez

- Apache Heca

Wszystkie one opierają się na mocny silnik przetwarzania danych Hadoop lub jego rozproszonych funkcji obliczeniowych, integrując jeden z jego modułów w swojej podstawowej w taki czy inny.

Co nowego w tym wydaniu:

• Obsługa Archiwalnej magazynowania
• Przezroczyste szyfrowanie danych w spoczynku (beta)
• Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
• Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
• Wsparcie dla szybszego szyfrowania AES drutu
• Wsparcie dla długich usług uruchomionych przędzy
• etykiety węzła wspomagającego podczas programowania
• Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
• Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
• Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)

Co nowego w wersji 2.7.1:

• Obsługa archiwalne Przechowywanie
• Przezroczyste szyfrowanie danych w spoczynku (beta)
• Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
• Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
• Wsparcie dla szybszego szyfrowania AES drutu
• Wsparcie dla długich usług uruchomionych przędzy
• etykiety węzła wspomagającego podczas programowania
• Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
• Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
• Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)

Co nowego w wersji 2.7.0:

• Obsługa archiwalne Przechowywanie
• Przezroczyste szyfrowanie danych w spoczynku (beta)
• Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
• Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
• Wsparcie dla szybszego szyfrowania AES drutu
• Wsparcie dla długich usług uruchomionych przędzy
• etykiety węzła wspomagającego podczas programowania
• Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
• Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
• Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)

Co nowego w wersji 2.6.0:

• Obsługa archiwalne Przechowywanie
• Przezroczyste szyfrowanie danych w spoczynku (beta)
• Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
• Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
• Wsparcie dla szybszego szyfrowania AES drutu
• Wsparcie dla długich usług uruchomionych przędzy
• etykiety węzła wspomagającego podczas programowania
• Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
• Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
• Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)

Co nowego w wersji 2.5.0.

• udoskonalenia uwierzytelniania podczas korzystania z serwera proxy HTTP
• Nowa Hadoop Metrics zlewozmywak, który umożliwia pisanie bezpośrednio do grafitu.
• Szczegółowe informacje o Hadoop Kompatybilny wysiłku plików.
• Obsługa POSIX stylu systemu plików rozszerzonych atrybutów.
• OfflineImageViewer przeglądać się fsimage za pośrednictwem interfejsu API WebHDFS.
• Supportability ulepszenia i poprawki do bramy NFS.
• Zmodernizowany internetowej UI (HTML5 i JavaScript) do demonów HDFS.
• Wsparcie REST API przędzy za złożenie i zabijania aplikacji.
• Integracja Kerberos do sklepu osi czasu przędzy za.

Co nowego w wersji 2.4.0:

• Wsparcie dla Access Control Lists w HDFS
• Natywne wsparcie dla Rolling Uaktualnienia w HDFS
• Wykorzystanie protokole zderzaków do HDFS FSImage do gładkich ulepszeń operacyjnych
• Pełna obsługa protokołu HTTPS w HDFS
• Wsparcie dla automatycznego przełączania awaryjnego przędzy ResourceManager
• Ulepszone wsparcie dla nowych aplikacji na przędzy z serwerem Historia nakładania oraz Timeline Server
• Wsparcie dla silnych SLA przędzy CapacityScheduler poprzez wywłaszczanie

Co nowego w wersji 2.3.0.

• Wsparcie dla heterogenicznych Storage hierarchii HDFS
• W pamięci cache dla danych HDFS ze scentralizowanej administracji i zarządzania.
• Uproszczone dystrybucja binariów mapreduce poprzez HDFS przędzy Ukazuje Cache.

Co nowego w wersji 2.2.0:

• przędzy - System zarządzania zasobami ogólnego przeznaczenia do Hadoop aby umożliwić MapReduce i innych innych ram i usług przetwarzania danych
• Wysoka dostępność HDFS
• HDFS Federacja
• HDFS Migawki
• NFSv3 dostęp do danych w HDFS

Co nowego w wersji 2.1.0 beta:

• HDFS Migawki
• Wsparcie dla Hadoop działa w systemie Microsoft Windows
• stabilizację przędzy API

Co nowego w wersji 2.0.3-alpha:

• QJM dla HDFS ha, dla NameNode
• Multi-planowanie zasobów (CPU i pamięć) dla przędzy
• YARN ResourceManager Restart
• Znaczne stabilności na skalę przędzy (ponad 30.000 węzłów i 14 milionów aplikacji do tej pory, w momencie zwolnienia)

Co nowego w wersji 1.0.0.

• Lepsze zabezpieczenia
• HBase (dołącz / hsynch / hflush i bezpieczeństwo).
• webhdfs (z pełnym wsparciem dla bezpieczeństwa).
• Wydajność zwiększa dostęp do lokalnych plików na HBase.
• Inne ulepszenia wydajności, poprawki i funkcje.

Co nowego w wersji 0.20.2:

• Serwer RPC bufor wyślij zachowuje wielkość największego w historii odpowiedzi wysłana.
• C ++ biblioteki nie opierać się na systemie Debian Lenny.
• Niektóre c ++ skrypty nie są chmodded przed mrówek realizacji.
• na żywo. Komunikaty o stanie procesu przewidziane są zastępowane co 10 seoncds
• IllegalArgumentException gdy CombineFileInputFormat jest używany jako InputFormat pracy.
• Wiele błędów w / archiwum Hadoop.
• Zezwalaj na buforowanie wystąpień systemu plików mają być wyłączone na podstawie na przykład.
• Brak synchronizacji dla defaultResources w Configuration.addResource.
• GzipCodec nie powinny stanowić BuiltInZlibInflater jak decompressorType.
• NameNode na HTTPServer nie może instancję InetSocketAddress: IllegalArgumentException jest wyrzucany
.
• HTTPServer śpi z wartości ujemnych.
• Namenode działa zz pamięci z powodu przecieku pamięci IPC Server.
• IPC klienta błąd może spowodować wywołanie RPC powiesić.
• testy upadającego zapobiec resztę celów testowych z realizacji.
• Testy contrib zawodzą Clover'ed budować.
• Testy nie działa na 0,20 oddziału.
• TestStreamingStatus zawodzi na 0,20 oddziału.