Dapper Dataflow Engine

Wytworny (Program rozproszone i równoległe Wykonanie Runtime) jest narzędziem do oswajania zawiłości rozwija chmury na dużą skalę i sieci komputerowych, co pozwala użytkownikowi na tworzenie rozproszonych obliczeń z zasadniczych - kod, który będzie EXECUT
Dlaczego Wytworny?
Żyjemy w ciekawych czasach, w których przełom w naukach coraz bardziej zależą od dostępności i rosnącej obfitości commoditized, sieciowych zasobów obliczeniowych. Dzięki chmurze lub siatki, obliczenia, które w innym prowadzonym przez kilka dni na jednym komputerze stacjonarnym tej pory rozproszone i / lub preparatów, które mogą masowo równoległe pośrednictwem, w ciągu kilku godzin, wejście wyznacza dziesięć razy większa od stu maszyn , W intrygujący, jak idea siły w liczbach może być, mając tylko fizycznego sprzętu nie wystarczy - programista ma do jednostek rzeczywiste obliczenia, które będzie działać na nim. W związku z tym, wysoka wartość umieszczone na ludzkiego wysiłku i kreatywności Wymaga to środowisko programistyczne, które pozwala, a nawet zachęca, zwięzłe wypowiedzi rozproszonych obliczeń, a jednocześnie w tym samym czasie nie poświęcić ogólności.
Wytworny, stojąc na Ukazuje i równoległe wykonywanie programu Runtime, jest jednym z takich narzędzi do mostkowania specyfikacji wysokim poziomie naukowiec / programisty, które oddają istotę programu, z mechanizmami niskopoziomowych, które odzwierciedlają niesmaczny i realia rozproszonych obliczeń równoległych. Pod jego podejścia zorientowanego przepływu danych, Wytworny umożliwia użytkownikom kodu w Javie i lokalnie, globalnie na wykonanie chmurze lub siatki. Użytkownik po raz pierwszy pisze codelets lub małych fragmentów kodu, które wykonują proste zadania, a nie same w sobie stanowią kompletny program. Następnie, on lub ona określa, w jaki sposób te codelets, postrzegane jako wierzchołków przepływu danych, przekazywania danych siebie poprzez relacje krawędzi. Otrzymany graf skierowany acykliczny przepływ danych jest kompletny program do interpretacji przez serwer Dapper, które po zetknięciu przez długowiecznych klientów pracownika, może koordynować rozproszoną wykonanie.
Pod Dapper modelu, użytkownik nie musi już martwić się o tradycyjnie doraźnych aspektów zarządzania chmurę lub siatki, które obejmują obsługę połączeniowe danych i zależności, wychodzi z błędów, kod dystrybucji, a od miejsca pracy. Co ważniejsze, zapewnia cały zestaw narzędzi opartych na języku Java i czas pracy oprawy prawie wszystkie gruboziarnistych rozproszonych obliczeń w spójnym formacie, który pozwala na szybkie wdrożenie i łatwego przenoszenia do innych badaczy.

Funkcje :

• System dystrybucji kod, który pozwala na serwer do przesyłania wymaganych Wytworny kod programu w sieci i mają klientów dynamicznie załadować go. Konsekwencją tego jest to, że zakazu wykonywalne zewnętrznych, aktualizacje do Wytworny programy wystarczy tylko wydarzy się na stronie serwera.
• potężnym subflow metoda osadzania dynamicznego modyfikowania dataflow wykres w czasie wykonywania.
• W waniliowym Java Runtime, język, wiele z nich jest bez wątpienia zna. Oprócz wymogu niedawnego JVM i ewentualnie Graphviz Dot, Wytworny jest samowystarczalny.
• solidna protokołu kontroli. Wytworny oczekuje serwera dowolną liczbę klientów na niepowodzenie, w każdym czasie, i ma wielokrotnego wykonania i limitu czasu konfigurowalne zasady radzenia sobie. W związku z tym, można uruchomić i zatrzymać (długowieczny) klientów bez obawy o wprowadzenie całego systemu w niespójnym stanie.
• Elastyczne semantyka, które umożliwiają transfer danych za pośrednictwem plików lub TCP strumieni.
• Współpraca z zaporami. Ponieważ chmura lub sieci lokalnej pewnie siedzi za firewallem, opracowaliśmy specjalne semantykę dla strumieniowego przesyłania danych.
• liberalne warunki licencjonowania. Wytworny jest wydany na licencji LGPL, aby zapobiec zanieczyszczeniu swoim kodzie.
• Obsługa jako wbudowanych aplikacji. Instrukcja obsługi opisuje programowania API, które użytkownicy mogą wykonać, aby uruchomić serwer Dapper wewnątrz aplikacji jak Apache Tomcat.
• Praca jako samodzielny interfejs użytkownika. Dzięki niemu można uruchomić off-the-shelf dema i uczyć się na przykładach podstawowych koncepcji wizualnych. Stosując się minimalny zestaw konwencji, można to pakiet własnych Wytworny jak archiwa programów wykonawczych, a następnie dostać się w czasie rzeczywistym i debugowania statusu dataflow zwrotnych.

Co nowego w tym wydaniu:

• Metoda ServerLogic # closeIdleClients została zmieniona w celu lepszego dopasowania użytkownika intuicyjne pojęcie lenistwa.
• Opcja użytkownika do określania nazwy hosta serwera został dodany.
• Sieci wewnętrzne przerobione zostały na korzystanie z nowych funkcji API.
• W procesie budowania został zaktualizowany do obsługi zarówno 32-, jak i 64-bitowej systemu Windows cross-kompilacji.
• elegancki. * Hierarchia została zmieniona na org.dapper. *.

Co nowego w wersji 0.96:

• Dodane abstrakcję FlowListener, dzięki czemu użytkownicy mogą teraz kojarzy metadanych z przepływem danych i ich węzłów.
• Naprawiono wyciek pamięci w serwerze Dapper.
• Dodane tagi apiviz doclet tak, że relacje między klasami może być lepiej widoczny.
• Dodane apiviz do wizualizacji zależności w Javadoc.
• Naprawiono mały błąd w BuildAndTest wykonywalnego.
• W procesie budowania jest teraz w pełni zintegrowany z Apache Ivy. Teraz już źródła dystrybucji statki z SST. Zamiast zależności są automatycznie pobierane; w przypadku jego braku, jeden może pobrać źródła SST, skompilować i opublikować w lokalnym repozytorium. Zobacz instrukcję więcej szczegółów.
• Aktualizacja proces budowania i usunięte zbędne kroki.

Anonse
• Znormalizowany autorskich i licencji we wszystkich plików.
• Java 1.6 jest teraz zobowiązany do zbudowania i uruchomienia.
• Zmień sposób używać Apache Ivy, co oznacza, że ​​zależności zewnętrzne nie muszą już być pakowane w głównej dystrybucji SST budować.
• dodanej "doxygen" target budować proces tak, że rodzime elementy mogą być udokumentowane.

Co nowego w wersji 0.95:

• Nowa, elastyczna infrastruktura logowania został dodany
• inicjalizatory struktur logowania zostały przeniesione z klasy serwera i klienta i do kierowców.
• Maszyny skończone państwowe zostały zaktualizowane do nowej adnotacji napędzane API.
• Kod źródłowy został znormalizowane mieć 8 spacji zamiast kart.

Co nowego w wersji 0.94:

• Opcje wiersza poleceń dla klienta i serwera są już dostępne, dzięki uprzejmości biblioteki Apache Commons CLI.
• cyklem życia proces klienta jest obecnie definiowana jako zakończenie, gdy zakończenie połączenia z serwerem dzieje.
• Stem funkcjonalność generacji został przeniesiony z bycia członkiem OutputHandleResource sposób do bycia metodą statyczną CodeletUtilities.
• FlowNodeFactory klasa jest używana na rzecz bezpośredniego konkretyzacji w FlowNodes.
• Budowa rodzimych komponentów przeniósł się do CMake.
• Logowanie przeniósł się do SLF4J.
• README został dodany do wszystkich dystrybucji.

Co nowego w wersji 0.93:.

• znacznie się poprawiła przykłady pedagogiczne
• Aktualizacja manualna.
• Dodane procedur wygodę w dapper.codelet.CodeletUtilities odpytywanie zasobów.
• Usunięto Generator, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource i FileBatchResource. Zostały one zastąpione pojęciem abstrakcyjnym uchwytami danych w postaci HandleEdge, InputHandleResource, OutputHandleResource. Zobacz podręcznik dla zmian.
• Aktualizacja dapper.codelet.Resource eksportować strumieni wejścia i wyjścia.

Wymagania :

• Java 2 Standard Edition Runtime Environment