MDP

MDP (modułowy zestaw narzędzi do przetwarzania danych) jest biblioteką powszechnie stosowanych algorytmów przetwarzania danych, które mogą być łączone zgodnie z analogii do budowy rurociągu bardziej skomplikowanego oprogramowania do przetwarzania danych.
Z punktu widzenia użytkownika, MDP składa się z kolekcji nadzorowanych i niekontrolowanych algorytmy uczenia i innych jednostek przetwarzania danych (węzłów), które można łączyć w sekwencje przetwarzania danych (transakcji) oraz bardziej złożonych architektur sieciowych feed-forward. Biorąc pod uwagę zestaw danych wejściowych, MDP zajmuje kolejno szkolenia lub wykonania wszystkich węzłów w sieci. Pozwala to użytkownikowi określenie złożonych algorytmów w postaci szeregu prostych kroków przetwarzania danych w sposób naturalny.
Baza dostępnych algorytmów stale rośnie i obejmuje, by wymienić tylko najbardziej powszechne, analiza składowych głównych (PCA i NIPALS), kilka algorytmów Niezależne analizy składowych (CuBICA, FastICA, TDSEP, JADE i XSFA), Wolna Analiza funkcji, Gaussa Ograniczenie klasyfikatorów, Maszyna Boltzmanna, a lokalnie normalny osadzania.
Szczególną uwagę zwrócono do obliczenia efektywne pod względem szybkości i pamięci. W celu zmniejszenia wymagań dotyczących pamięci, możliwe jest do przeprowadzenia za pomocą uczenia porcji danych oraz określenie parametrów wewnętrznych węzłów jako pojedynczej precyzji, co pozwala na użycie bardzo dużych zbiorów danych możliwe. Co więcej, "równoległe" Podpakiet oferuje równoległą realizację podstawowych węzłów i przepływów.
Z punktu widzenia dewelopera, MDP to ramy, które sprawia, że ​​implementacja nowych algorytmów uczenia nadzorowanego i bez nadzoru łatwe i proste. Podstawowa klasa, "Węzeł", dba o nudnych zadań, takich jak sprawdzanie typu numerycznego i wymiarowości, pozostawiając dewelopera skoncentrować się na realizacji kształcenia i realizacji faz. Ze względu na wspólny interfejs node automatycznie łączy się z resztą z biblioteki i może być używany w sieci oraz inne węzły. Węzeł może mieć wiele etapów szkolenia, a nawet nieokreślonej liczby faz. Pozwala to na realizację algorytmów, które muszą zebrać kilka statystyk dotyczących całego wejścia przed przystąpieniem do szkoleń i innych, które muszą iteracji po fazie szkolenia, aż kryterium konwergencji jest zadowolony. Możliwość trenować każdą fazę za pomocą ilości danych wejściowych jest utrzymywana jeśli kawałki są generowane z iteratorów. Ponadto, odtwarzanie po awarii jest dostępny opcjonalnie: w przypadku awarii, obecny stan przepływu jest zapisane do późniejszego wglądu.
MDP został napisany w kontekście badań teoretycznych w dziedzinie neurologii, ale został zaprojektowany, aby być pomocne w każdej sytuacji, w której stosowane są algorytmy przetwarzania danych wyszkolić. Jego prostota po stronie użytkownika wraz z ponownego wykorzystania realizowanych węzłów zrobić to również ważne narzędzie edukacyjne

Co nowego w tym wydaniu:.

• Python 3 wsparcie.
• Nowe rozszerzenia: buforowanie i jej nachylenia,
.
• poprawiona i rozszerzona poradnik.
• Kilka usprawnień i poprawek.
• Ta wersja jest na licencji BSD.

Co nowego w wersji 2.5:

• 2009-06-30: Dodano Internecie wykrywanie zaplecza numerycznej równolegle wsparcie python, symeig zaplecza i numeryczna zaplecza do wyjścia testów jednostkowych. Powinny pomóc w debugowania.
• 2009-06-12:. Integracja odcięcia i histogramu węzłów
• 2009-06-12:. Naprawiono błąd przepływu równoległego (obsługi wyjątków)
• 2009-06-09: Naprawiono błąd w LLENode gdy output_dim jest pływak. Dzięki Konrad Hinsen.
• 2009-06-05:. Poprawione błędy w przepływie równoległym do wielu planistów
• 2009-06-05:. Naprawiono błąd w warstwie odwrotności, dzięki Alberto Escalante
• 2009-04-29:. Dodano LinearRegressionNode
• 2009-03-31: PCANode już nie narzekać, gdy macierz kowariancji ma negatywne wartości własne IFF SVD == true lub zmniejszyć == True. Jeśli output_dim został określony ma pożądany wariancji, ujemne wartości własne są ignorowane. Ulepszona wiadomość błędu SFANode w przypadku ujemnych wartości własnych, teraz proponuję poprzedzić węzeł z PCANode (SVD = true), czy PCANode (zmniejszenie = true).
• 2009-03-26: migracji z starego pakietu do nowej nitki gwintu jednym. Dodano flagę wyłączyć buforowanie w procesie harmonogramu. Istnieją pewne zmiany dla własnych rozbijające (równoległe szkolenia planujących przepływ lub wykonanie nie ma wpływu).
• 2009-03-25:. Dodano wsparcie svn wersja śledzenia
• 2009-03-25: Usunięto copy_callable flagę harmonogramu, to jest teraz całkowicie zastąpione przez rozwidlenia na TaskCallable. Nie ma to wpływu na wygodny interfejs ParallelFlow, ale niestandardowe planiści pęknąć.
• 22.03.2009:. Zaimplementowano buforowanie w ProcessScheduler
• 2009-02-22:. Make_parallel teraz działa całkowicie na miejscu, aby zaoszczędzić pamięć
• 2009-02-12:. Dodano metody kontenerów do FlowNode
• 2009-03-03:. Dodane CrossCovarianceMatrix z testów,
• 2009-02-03:. Dodane IdentityNode
• 2009-01-30:. Dodano funkcję pomocniczą w Hinet bezpośrednio wyświetlać reprezentację HTML przepływu
• 2009-01-22:. Pozwól output_dim w warstwie należy ustawić leniwie
• 2008-12-23:. Dodano total_variance do węzła NIPALS
• 2008-12-23:. Zawsze ustawić explained_variance i total_variance po treningu w PCANode
• 2008-12-12: Modified symrand naprawdę powrócić macierzy symetrycznych (i nie tylko dodatnio określona). Przystosowane GaussianClassifierNode do odpowiedzialności za to. Przystosowane symrand również powrót matryce hermitowskie złożonych.
• 2008-12-11: Naprawiono jeden problem w PCANode (gdy output_dim został ustawiony na input_dim całkowitej wariancji był traktowany jako brak danych). Parametrem stałym VAR_PART w ParallelPCANode.
• 2008-12-11:. Dodano funkcję VAR_PART do PCANode (filtra według wariancji względem absoute wariancji)
• 2008-12-04: Naprawiono brakujące osi argumentu w wywołaniu w tutorialu AMAX. Dzięki Samuel John!
• 2008-12-04: Naprawiono obsługi w ParallelFlow pusty iterator danych. Dodano także pustych kontroli iteratorów w normalnym przepływu (podniesienia wyjątek, jeśli iterator jest pusty).
• 2008-11-19: Modified pca i SFA węzły, aby sprawdzić negaive wartości własnych macierzy Cov w
• 2008-11-19: symeig zintegrowany scipy, MDP może używać go stamtąd teraz
.
• 2008-11-18:. Dodane ParallelFDANode
• 2008-11-18:. Aktualizacja pociąg wpłacone przez ParallelFlow wspieranie dodatkowych argumentów
• 2008-11-05: Przepisz kod z make równoległego, obsługuje struktur Hinet
.
• 2008-11-03: Przepisz z repesentation twórcy Hinet HTML. Niestety to łamie również publiczny interfejs, ale zmiany są dość proste.
• 2008-10-29: Odciąć ostrzeżenia pochodzące z procesów zdalnych w ProcessScheduler
• 2008-10-27:. Naprawiono problem z zastąpieniem kwargs w metodzie init ParallelFlow
• 2008-10-24:. Naprawiono błąd w węzły pretrained hinet.FlowNode
• 2008-10-20:. Poprawiono krytyczny błąd w pakiecie importu równoległego, gdy jest zainstalowany pp (równolegle biblioteki Pythona)

Wymagania :

• Python
• NumPy
• scipy