Apache Spark

Screenshot Software:
Apache Spark
Szczegóły programowe:
Wersja: 1.3.1 Aktualizowane
Filmu: 12 May 15
Wywoływacz: UC Berkeley AMP Lab
Licencja: Wolny
Popularność: 45

Rating: 5.0/5 (Total Votes: 1)

Spark został zaprojektowany w celu poprawy szybkości przetwarzania dla analizy danych i programów manipulacji.
Został napisany w Javie i Scali i zapewnia funkcje, które nie występują w innych systemach, głównie dlatego, że nie są one głównym nurtem, ani użyteczne, do zastosowań innych niż dane.

Co nowego W tej wersji:.

  • Interfejs API obsługuje teraz rdzeń drzewa agregacji wielopoziomowe, które pomogą przyspieszyć drogie zmniejszyć operacji
  • Ulepszone raportowanie błędów zostało dodane dla niektórych czynności haczyka.

  • Zależność Jetty
  • Spark jest teraz w cieniu, aby uniknąć konfliktów z programów użytkownika.
  • Spark obsługuje szyfrowanie SSL dla niektórych punktów końcowych komunikacji.
  • metryki Realtime GC i liczy rekord zostały dodane do interfejsu użytkownika.

Co to jest nowe w wersji 1.3.0:

  • Rdzeń API obsługuje wielopoziomowe agregacji drzewa aby przyspieszyć drogie zmniejszyć operacji.
  • Ulepszone raportowanie błędów zostało dodane dla niektórych czynności haczyka.

  • Zależność Jetty
  • Spark jest teraz w cieniu, aby uniknąć konfliktów z programów użytkownika.
  • Spark obsługuje szyfrowanie SSL dla niektórych punktów końcowych komunikacji.
  • metryki Realtime GC i liczy rekord zostały dodane do interfejsu użytkownika.

Co nowego w wersji 1.2.1:

  • Operator sortowania PySpark za obsługuje rozlewania zewnętrznego dla dużych zbiorów danych .
  • PySpark obsługuje zmienne transmisji większe niż 2 GB i wykonuje zewnętrzne rozlewania podczas wszelkiego rodzaju.
  • Spark dodaje stronę poziomie postępu pracy w interfejsie użytkownika Spark, stabilne API do raportowania postępów i dynamiczną aktualizację wskaźników wyjściowych jako zadania zakończona.
  • Spark ma teraz wsparcie dla odczytu plików binarnych dla obrazów i innych formatów binarnych.

Co jest nowa w wersji 1.0.0:

  • Ta wersja rozszerza standardowe biblioteki Spark, wprowadzając nowe Pakiet SQL (SQL Spark), który umożliwia użytkownikom integrację zapytań SQL z istniejącą infrastrukturą Spark.
  • MLlib, biblioteki uczenie maszynowe Sparka, jest rozszerzona z nielicznych wsparcia wektorowych i kilku nowych algorytmów.

Co nowego w wersji 0.9.1:

  • Naprawiono błąd w kolizji mieszania zewnętrznego rozlanie
  • Naprawiono konflikt z log4j Sparka dla użytkowników, opierając się na innych backendów logowania
  • Poprawiono Graphx brakuje słoika zespołu Iskra w Maven buduje
  • Poprawiono błędy ze względu na ciche stan wyjścia przekroczenie map Akka wielkości ramki
  • Usunięto Spark niepotrzebne bezpośrednia zależność od ASM
  • Usunięto zwoje z metryki-domyślnej kompilacji ze względu na LGPL konfliktu licencji
  • Naprawiono błąd w archiwum dystrybucji niezawierające jar montaż iskra

Co nowego w wersji 0.8.0:

  • Rozwój przeniósł się do Fundacji Apache Sowftware jako Projekt Inkubator.

Co jest nowa w wersji 0.7.3:

  • Python Wydajność: Mechanizm Sparka na tarło Python VM ma zostały ulepszone, aby to zrobić szybciej, gdy JVM ma duży rozmiar sterty, przyspieszenie API Pythona.
  • Mesos ustala: JAR dodane do pracy będzie teraz na ścieżce klasy podczas deserializacji wyniki zadań w Mesos
  • .
  • Raportowanie błędów. Lepsze raportowanie błędów dla non-serializować wyjątków i zbyt dużych wyników zadania
  • Przykłady:. Dodano przykład stanowego przetwarzania strumienia z updateStateByKey
  • Budowa:. Spark na żywo już nie zależy od repo Twitter4J, co powinno pozwolić na zbudowanie w Chinach
  • Poprawki w foldByKey, streaming liczyć, metody statystyki, dokumentacji i internetowej UI.

Co nowego w wersji 0.7.2:.

  • Scala zaktualizowany do wersji 2.9.3
  • bajgiel kilka ulepszeń, w tym poprawki wydajności i skonfigurowanego poziomu pamięci.
  • Nowe metody API:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition i inne
  • A nowe metryki raportowania interfejsu, SparkListener, aby zebrać informacje o każdym etapie obliczeń:. Bajtów długości zadanie, powłócząc nogami, itp
  • Kilka nowych przykładów za pomocą interfejsu API języka Java, w tym środki i K-computing pi.

Co nowego w wersji 0.7.0:

  • Spark 0,7 dodaje API Pythona o nazwie PySpark <. / li>
  • Praca zapłonowe teraz uruchomić pulpit internetowej do monitorowania zużycia pamięci każdego rozproszonego zbioru danych (RDD) w programie.
  • Spark może być teraz budowane przy użyciu Maven oprócz SBT.

Co nowego w wersji 0.6.1:

  • Poprawiono wiadomość zbyt agresywne limity czasu, że może doprowadzić pracowników do odłączyć z klastra.
  • Naprawiono błąd w trybie deploy które nie standalone hostów do harmonogramu narażać, wpływając HDFS lokalizację.
  • Ulepszone ponowne połączenie w shuffle, który może znacznie przyspieszyć małych przetasowań.
  • Poprawiono kilka potencjalnych zakleszczenia w managerze bloków.
  • Naprawiono błąd z dostaniem identyfikatory nieudanych gospodarzy z Mesos.
  • Skrypt EC2 kilka usprawnień, jak lepszą obsługą przypadkach na miejscu.
  • Wykonane lokalny adres IP, który wiąże się Spark konfigurowalny.
  • Wsparcie dla Hadoop 2 dystrybucji.
  • Wsparcie dla lokalizacji Scala na dystrybucjach Debiana.

Co nowego w wersji 0.6.0:.

  • Prostsze wdrażanie
  • Dokumentacja Spark został rozszerzony o nowy Skrócona instrukcja obsługi, dodatkowe instrukcje rozmieszczenia instrukcji konfiguracji, przewodnik strojenia i poprawy dokumentacji Scaladoc API.
  • Nowy menedżer komunikacji przy użyciu Java NIO umożliwia asynchroniczne operacje odtwarzania losowego działają szybciej, zwłaszcza podczas wysyłania dużych ilości danych lub gdy praca ma wiele zadań.
  • nowy menedżer pamięci masowej obsługuje zbiorze ustawienia per-level składowanie (np czy zachować w pamięci zbioru danych, rozszeregować, na dysku, itp, a nawet replikowane w węzłach).
  • Zwiększona debugowania.

Podobne oprogramowanie

jWebSocket
jWebSocket

28 Feb 15

CacheBox
CacheBox

1 Mar 15

PHP LSAPI
PHP LSAPI

10 Feb 16

Komentarze do Apache Spark

Komentarze nie znaleziono
Dodaj komentarz
Włącz zdjęć!
Szukaj wg kategorii