Apache Hadoop został pierwotnie opracowany przez Yahoo, a projekt jest połączeniem pomiędzy poprzednimi wspólnych repo Apache Hadoop rdzenia i Apache Hadoop.
Projekt Hadoop zyskał dużo rozgłos dzięki jego świetne wyniki w realizacji wielu serwera rozproszonego systemu komputerowego do obsługi dużych ilości danych.
Sam projekt jest faktycznie składa się z czterech części. Jednym z nich jest Hadoop Common, tak zwany rdzeń, który umożliwia wszystkie inne moduły do pracy, drugi jest jego własny system plików - HDFS (Hadoop Distributed File System), trzeci jest ramowa przędzy szeregowanie Hadoop, a na końcu nie jest system Hadoop MapReduce za wspieranie obliczenia równoległe.
Używając tych łamanie systemu uziemienia, Apache udało się stworzyć wiele innych projektów ubocznych, takich jak:
- Apache Ambari
- Apache Avro
- Cassandra
- Apache HBase
- Apache Hive
- Apache Kornak
- Apache Pig
- Apache Spark
- Apache Tez
- Apache Heca
Wszystkie one opierają się na mocny silnik przetwarzania danych Hadoop lub jego rozproszonych funkcji obliczeniowych, integrując jeden z jego modułów w swojej podstawowej w taki czy inny.
Co nowego w tym wydaniu:
- Obsługa Archiwalnej magazynowania
- Przezroczyste szyfrowanie danych w spoczynku (beta)
- Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
- Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
- Wsparcie dla szybszego szyfrowania AES drutu
- Wsparcie dla długich usług uruchomionych przędzy
- etykiety węzła wspomagającego podczas programowania
- Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
- Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
- Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)
Co nowego w wersji 2.7.1:
- Obsługa archiwalne Przechowywanie
- Przezroczyste szyfrowanie danych w spoczynku (beta)
- Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
- Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
- Wsparcie dla szybszego szyfrowania AES drutu
- Wsparcie dla długich usług uruchomionych przędzy
- etykiety węzła wspomagającego podczas programowania
- Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
- Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
- Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)
Co nowego w wersji 2.7.0:
- Obsługa archiwalne Przechowywanie
- Przezroczyste szyfrowanie danych w spoczynku (beta)
- Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
- Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
- Wsparcie dla szybszego szyfrowania AES drutu
- Wsparcie dla długich usług uruchomionych przędzy
- etykiety węzła wspomagającego podczas programowania
- Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
- Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
- Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)
Co nowego w wersji 2.6.0:
- Obsługa archiwalne Przechowywanie
- Przezroczyste szyfrowanie danych w spoczynku (beta)
- Obsługa bezpiecznego DataNode bez konieczności dostępu do konta roota
- Hot Swap twardy: wsparcie dodaj / usuń ilości węzłów danych bez ponownego uruchamiania węzła danych (beta)
- Wsparcie dla szybszego szyfrowania AES drutu
- Wsparcie dla długich usług uruchomionych przędzy
- etykiety węzła wspomagającego podczas programowania
- Obsługa rezerwacji zasobów w oparciu o czas wydolności Scheduler (beta)
- Globalny, wspólna pamięć podręczna dla artefaktów aplikacji (beta)
- Wsparcie funkcjonowania aplikacji natywnie w Döcker pojemniki (alfa)
Co nowego w wersji 2.5.0.
- udoskonalenia uwierzytelniania podczas korzystania z serwera proxy HTTP
- Nowa Hadoop Metrics zlewozmywak, który umożliwia pisanie bezpośrednio do grafitu.
- Szczegółowe informacje o Hadoop Kompatybilny wysiłku plików.
- Obsługa POSIX stylu systemu plików rozszerzonych atrybutów.
- OfflineImageViewer przeglądać się fsimage za pośrednictwem interfejsu API WebHDFS.
- Supportability ulepszenia i poprawki do bramy NFS.
- Zmodernizowany internetowej UI (HTML5 i JavaScript) do demonów HDFS.
- Wsparcie REST API przędzy za złożenie i zabijania aplikacji.
- Integracja Kerberos do sklepu osi czasu przędzy za.
Co nowego w wersji 2.4.0:
- Wsparcie dla Access Control Lists w HDFS
- Natywne wsparcie dla Rolling Uaktualnienia w HDFS
- Wykorzystanie protokole zderzaków do HDFS FSImage do gładkich ulepszeń operacyjnych
- Pełna obsługa protokołu HTTPS w HDFS
- Wsparcie dla automatycznego przełączania awaryjnego przędzy ResourceManager
- Ulepszone wsparcie dla nowych aplikacji na przędzy z serwerem Historia nakładania oraz Timeline Server
- Wsparcie dla silnych SLA przędzy CapacityScheduler poprzez wywłaszczanie
Co nowego w wersji 2.3.0.
- Wsparcie dla heterogenicznych Storage hierarchii HDFS
- W pamięci cache dla danych HDFS ze scentralizowanej administracji i zarządzania.
- Uproszczone dystrybucja binariów mapreduce poprzez HDFS przędzy Ukazuje Cache.
Co nowego w wersji 2.2.0:
- przędzy - System zarządzania zasobami ogólnego przeznaczenia do Hadoop aby umożliwić MapReduce i innych innych ram i usług przetwarzania danych
- Wysoka dostępność HDFS
- HDFS Federacja
- HDFS Migawki
- NFSv3 dostęp do danych w HDFS
Co nowego w wersji 2.1.0 beta:
- HDFS Migawki
- Wsparcie dla Hadoop działa w systemie Microsoft Windows
- stabilizację przędzy API
Co nowego w wersji 2.0.3-alpha:
- QJM dla HDFS ha, dla NameNode
- Multi-planowanie zasobów (CPU i pamięć) dla przędzy
- YARN ResourceManager Restart
- Znaczne stabilności na skalę przędzy (ponad 30.000 węzłów i 14 milionów aplikacji do tej pory, w momencie zwolnienia)
Co nowego w wersji 1.0.0.
- Lepsze zabezpieczenia
- HBase (dołącz / hsynch / hflush i bezpieczeństwo).
- webhdfs (z pełnym wsparciem dla bezpieczeństwa).
- Wydajność zwiększa dostęp do lokalnych plików na HBase.
- Inne ulepszenia wydajności, poprawki i funkcje.
Co nowego w wersji 0.20.2:
- Serwer RPC bufor wyślij zachowuje wielkość największego w historii odpowiedzi wysłana.
- C ++ biblioteki nie opierać się na systemie Debian Lenny.
- Niektóre c ++ skrypty nie są chmodded przed mrówek realizacji.
- na żywo. Komunikaty o stanie procesu przewidziane są zastępowane co 10 seoncds
- IllegalArgumentException gdy CombineFileInputFormat jest używany jako InputFormat pracy.
- Wiele błędów w / archiwum Hadoop.
- Zezwalaj na buforowanie wystąpień systemu plików mają być wyłączone na podstawie na przykład.
- Brak synchronizacji dla defaultResources w Configuration.addResource.
- GzipCodec nie powinny stanowić BuiltInZlibInflater jak decompressorType.
- NameNode na HTTPServer nie może instancję InetSocketAddress: IllegalArgumentException jest wyrzucany .
- HTTPServer śpi z wartości ujemnych.
- Namenode działa zz pamięci z powodu przecieku pamięci IPC Server.
- IPC klienta błąd może spowodować wywołanie RPC powiesić.
- testy upadającego zapobiec resztę celów testowych z realizacji.
- Testy contrib zawodzą Clover'ed budować.
- Testy nie działa na 0,20 oddziału.
- TestStreamingStatus zawodzi na 0,20 oddziału.
Komentarze nie znaleziono