Apache Spark

Spark został zaprojektowany w celu poprawy szybkości przetwarzania dla analizy danych i programów manipulacji.
Został napisany w Javie i Scali i zapewnia funkcje, które nie występują w innych systemach, głównie dlatego, że nie są one głównym nurtem, ani użyteczne, do zastosowań innych niż dane.

Co nowego W tej wersji:.

• Interfejs API obsługuje teraz rdzeń drzewa agregacji wielopoziomowe, które pomogą przyspieszyć drogie zmniejszyć operacji
• Ulepszone raportowanie błędów zostało dodane dla niektórych czynności haczyka.

Zależność Jetty
• Spark jest teraz w cieniu, aby uniknąć konfliktów z programów użytkownika.
• Spark obsługuje szyfrowanie SSL dla niektórych punktów końcowych komunikacji.
• metryki Realtime GC i liczy rekord zostały dodane do interfejsu użytkownika.

Co to jest nowe w wersji 1.3.0:

• Rdzeń API obsługuje wielopoziomowe agregacji drzewa aby przyspieszyć drogie zmniejszyć operacji.
• Ulepszone raportowanie błędów zostało dodane dla niektórych czynności haczyka.

Zależność Jetty
• Spark jest teraz w cieniu, aby uniknąć konfliktów z programów użytkownika.
• Spark obsługuje szyfrowanie SSL dla niektórych punktów końcowych komunikacji.
• metryki Realtime GC i liczy rekord zostały dodane do interfejsu użytkownika.

Co nowego w wersji 1.2.1:

• Operator sortowania PySpark za obsługuje rozlewania zewnętrznego dla dużych zbiorów danych .
• PySpark obsługuje zmienne transmisji większe niż 2 GB i wykonuje zewnętrzne rozlewania podczas wszelkiego rodzaju.
• Spark dodaje stronę poziomie postępu pracy w interfejsie użytkownika Spark, stabilne API do raportowania postępów i dynamiczną aktualizację wskaźników wyjściowych jako zadania zakończona.
• Spark ma teraz wsparcie dla odczytu plików binarnych dla obrazów i innych formatów binarnych.

Co jest nowa w wersji 1.0.0:

• Ta wersja rozszerza standardowe biblioteki Spark, wprowadzając nowe Pakiet SQL (SQL Spark), który umożliwia użytkownikom integrację zapytań SQL z istniejącą infrastrukturą Spark.
• MLlib, biblioteki uczenie maszynowe Sparka, jest rozszerzona z nielicznych wsparcia wektorowych i kilku nowych algorytmów.

Co nowego w wersji 0.9.1:

• Naprawiono błąd w kolizji mieszania zewnętrznego rozlanie
• Naprawiono konflikt z log4j Sparka dla użytkowników, opierając się na innych backendów logowania
• Poprawiono Graphx brakuje słoika zespołu Iskra w Maven buduje
• Poprawiono błędy ze względu na ciche stan wyjścia przekroczenie map Akka wielkości ramki
• Usunięto Spark niepotrzebne bezpośrednia zależność od ASM
• Usunięto zwoje z metryki-domyślnej kompilacji ze względu na LGPL konfliktu licencji
• Naprawiono błąd w archiwum dystrybucji niezawierające jar montaż iskra

Co nowego w wersji 0.8.0:

• Rozwój przeniósł się do Fundacji Apache Sowftware jako Projekt Inkubator.

Co jest nowa w wersji 0.7.3:

• Python Wydajność: Mechanizm Sparka na tarło Python VM ma zostały ulepszone, aby to zrobić szybciej, gdy JVM ma duży rozmiar sterty, przyspieszenie API Pythona.
• Mesos ustala: JAR dodane do pracy będzie teraz na ścieżce klasy podczas deserializacji wyniki zadań w Mesos
.
• Raportowanie błędów. Lepsze raportowanie błędów dla non-serializować wyjątków i zbyt dużych wyników zadania
• Przykłady:. Dodano przykład stanowego przetwarzania strumienia z updateStateByKey
• Budowa:. Spark na żywo już nie zależy od repo Twitter4J, co powinno pozwolić na zbudowanie w Chinach
• Poprawki w foldByKey, streaming liczyć, metody statystyki, dokumentacji i internetowej UI.

Co nowego w wersji 0.7.2:.

• Scala zaktualizowany do wersji 2.9.3
• bajgiel kilka ulepszeń, w tym poprawki wydajności i skonfigurowanego poziomu pamięci.
• Nowe metody API:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition i inne
• A nowe metryki raportowania interfejsu, SparkListener, aby zebrać informacje o każdym etapie obliczeń:. Bajtów długości zadanie, powłócząc nogami, itp
• Kilka nowych przykładów za pomocą interfejsu API języka Java, w tym środki i K-computing pi.

Co nowego w wersji 0.7.0:

• Spark 0,7 dodaje API Pythona o nazwie PySpark <. / li>
• Praca zapłonowe teraz uruchomić pulpit internetowej do monitorowania zużycia pamięci każdego rozproszonego zbioru danych (RDD) w programie.
• Spark może być teraz budowane przy użyciu Maven oprócz SBT.

Co nowego w wersji 0.6.1:

• Poprawiono wiadomość zbyt agresywne limity czasu, że może doprowadzić pracowników do odłączyć z klastra.
• Naprawiono błąd w trybie deploy które nie standalone hostów do harmonogramu narażać, wpływając HDFS lokalizację.
• Ulepszone ponowne połączenie w shuffle, który może znacznie przyspieszyć małych przetasowań.
• Poprawiono kilka potencjalnych zakleszczenia w managerze bloków.
• Naprawiono błąd z dostaniem identyfikatory nieudanych gospodarzy z Mesos.
• Skrypt EC2 kilka usprawnień, jak lepszą obsługą przypadkach na miejscu.
• Wykonane lokalny adres IP, który wiąże się Spark konfigurowalny.
• Wsparcie dla Hadoop 2 dystrybucji.
• Wsparcie dla lokalizacji Scala na dystrybucjach Debiana.

Co nowego w wersji 0.6.0:.

• Prostsze wdrażanie
• Dokumentacja Spark został rozszerzony o nowy Skrócona instrukcja obsługi, dodatkowe instrukcje rozmieszczenia instrukcji konfiguracji, przewodnik strojenia i poprawy dokumentacji Scaladoc API.
• Nowy menedżer komunikacji przy użyciu Java NIO umożliwia asynchroniczne operacje odtwarzania losowego działają szybciej, zwłaszcza podczas wysyłania dużych ilości danych lub gdy praca ma wiele zadań.
• nowy menedżer pamięci masowej obsługuje zbiorze ustawienia per-level składowanie (np czy zachować w pamięci zbioru danych, rozszeregować, na dysku, itp, a nawet replikowane w węzłach).
• Zwiększona debugowania.