DataCleaner

DataCleaner jest open source i całkowicie za darmo rozwiązaniem dla organizacji i firm, które chcą zwiększyć i zmierzyć jakość swoich danych.
Z DataCleaner, użytkownicy będą mogli do profilu, porównać, sprawdzić poprawność danych przed reguł biznesowych i monitorować postęp tych pomiarów w czasie.
Wśród jego funkcji można wymienić monitorowanie danych, profilowanie i analizy danych DQ, czyszczenie danych i wzbogacanie, wykrywania i scalić duplikaty danych klienta, jakość, a także super-szybki ETLightweight (Extract-Transform-Load).
Aby dowiedzieć się więcej o funkcjach i możliwościach DataCleaner za, a także, jak z nim pracować, należy zapoznać się http://eobjects.dk/docs

What jest nowy w tym wydaniu :

• Poprawki i nowe funkcje:
• Mamy umożliwiło tworzenie i usuwanie tabel za pośrednictwem interfejsu pulpitu DataCleaner. Należy pamiętać, że okres & quot; stół & quot; tu faktycznie obejmuje więcej niż tylko relacyjnych tabel bazy danych. Zawiera również arkusze magazynów danych MS Excel, Kolekcje w MongoDB, rodzaje dokumentów, CouchDB i ElasticSearch i tak dalej ... W zasadzie wszystkie rodzaje Datastore obsługujące odpisów operacji, z wyjątkiem magazynów danych pojedynczych tabel takich jak magazynów danych CSV, obsługuje tej funkcji! Funkcjonalność jest narażona poprzez:
• & quot; Tworzenie tabeli & quot; włączona przez menu prawego przycisku myszy schematów w drzewie po lewej stronie aplikacji.
• & quot; Tworzenie tabeli & quot; umożliwiła także poprzez wejścia w tabeli doboru komponentów, takich jak wstawić do tabeli, odnośnika stołowy i aktualizacji.
• & quot; Kropla stół & quot; włączona przez menu prawego przycisku myszy tabel w drzewie po lewej stronie aplikacji.
• Dodaliśmy (opcjonalnie) możliwości określenia usługi WWW Salesforce.com Endpoint URL. To pozwala na użycie DataCleaner połączyć się środowiskach piaskownicy Salesforce.com, jak również do własnych niestandardowych punktów końcowych.
• Wsparcie ElasticSearch zostało poprawione, umożliwiając niestandardowe mapowania, a także ponowne definicje Datastore ElasticSearch teraz także dla wyszukiwania i indeksowania.
• Pobieranie próbek zapisów i selekcji potencjalnych duplikatów w funkcję wykrywania Duplikat został poprawiony, co prowadzi do szybszej konfiguracji, ponieważ decyzje podjęte w trakcie sesji treningowej są bardziej reprezentatywne.
• Wykrywanie duplikatów Format pliku modelu została zaktualizowana, która usunęła potrzebę oddzielnego pliku "odniesienia" w celu ratowania przeszłe decyzje szkoleniowe. Zgodność ze starego formatu została zachowana, ale przy użyciu nowego formatu dodaje wiele korzyści dla doświadczenia użytkownika.
• Poprawki błędów:
• gwint głód problem został rozwiązany w monitorze DataCleaner. Wpływ ten temat był wielki, ale stało się to tylko w rzadkich i bardzo zindywidualizowanych przypadkach. Jeśli słuchacz niestandardowych obiektów na monitorze DataCleaner rzucał błąd, prowadziłoby to do zasobu nie uwolnieniu się i podejmowania wątek z puli Quartz-szeregowania na serwerze. Jeśli stanie się to wiele razy, że serwer może ostatecznie zabrakło wątków w tej puli.
• pionowe menu na ekranie wynik jest teraz robi właściwą pracę wyświetlania etykiety komponentów, które mają wyniki. To sprawia, że ​​łatwiej rozpoznać, która pozycja menu punkty do jakiego elementu wyniku.

Co nowego w wersji 3.5.7:

• Transformacja "Synonim wyszukiwania" ma teraz opcję patrzeć każdy znak wejścia. Jest to przydatne, jeśli robisz wymianę synonimów ciągu wartości pola długi tekst.
• Blokowanie wykonywania pracy DataCleaner poprzez stronę internetową do monitora, może to czasem nie z błędu spowodowanego wątku blokującym. Ten problem został rozwiązany.
• Poprawa powstał w sposobie pracy i kolejność elementów są zamknięte / posprzątać po egzekucji.
• JNLP / Java WebStart wersja DataCleaner był narażony w wyniku błędu w środowisku wykonawczym Java powodując pewne pliki JAR, aby nie zostać uznane przez wyrzutni WebStart, w pewnych okolicznościach. Ten problem został rozwiązany poprzez niewielkie modyfikacje tych plików JAR.
• Kilka martwe linki w dokumentacji została ustalona.

Co nowego w wersji 3.5.4:

• Teraz można ukryć kolumny wyjścia przemian , Ukrywanie nie wpłynie to na przepływ przetwarzania w ogóle, ale po prostu ukryć je z interfejsu użytkownika, a tym samym potencjalnie czyni doświadczenie bardziej czyste, podczas interakcji z innymi komponentami.
• Nowy serwis internetowy został dodany do monitorowania aplikacji internetowej, która stanowi drogę do wzywania stan wykonania określonej pracy.
• Błąd został naprawiony, powodując awarię raport HTML dla niektórych rodzajów analiz, gdy żadne rekordy zostały przetworzone.
• i 6 innych drobny błąd został skierowany.

Co nowego w wersji 3.5.1:

• Przechwytywanie zmienił zapisy:
• Nowy filtr dodano umożliwić przyrostowe przetwarzaniu rekordów, który nie został przetworzony przed, np do profilowania lub kopiowaniem modyfikowane tylko rekordy. Nowe filtry Nazwa jest Przechwytywanie zmienił zapisy, odnosząc się do pojęcia chwytania Zmiana danych.
• W kolejce wykonanie pracy:
• Monitor DataCleaner będzie teraz w kolejce na wykonanie tej samej pracy, jeśli jest uruchamiany wielokrotnie. Gwarantuje to, że przypadkowo nie uruchomić tę samą pracę jednocześnie, co może prowadzić do różnego rodzaju problemów, w zależności od tego, co robi praca.
• Drobne poprawki:
• Kilka poprawek został wdrożony.

Co nowego w wersji 3.5:

• Kilka czarodzieje są już dostępne do rejestracji magazynów danych; w tym plików przesłać na serwer dla plików CSV, wpisu połączenia z bazą danych, kierując rejestracji poświadczeń Salesforce.com i więcej.
• Czarodzieje budowlanych pracy również została rozszerzona o kilka zaawansowanych funkcji; Wybór dystrybucji wartości i wzór znalezienia pola w kreatorze szybkiej analizy, zupełnie nowy kreator do tworzenia miejsc pracy w oparciu oczyszczające EasyDQ klienta i nowy kreator pracy dla wypalania pracy Pentaho Data Integration (więcej poniżej).
• Możesz teraz zapytań ad-hoc żadnego magazynu danych bezpośrednio w interfejsie WWW. To sprawia, że ​​łatwo dostać się szybko lub sporadyczne wgląd w dane bez tworzenia miejsc pracy lub innych zarządzanych podejścia przetwarzania danych.
• Po pracy lub magazynów danych są tworzone, użytkownik jest kierowany do podjęcia działań w nowo wybudowanym obiekcie. Na przykład, można bardzo szybko uruchomić zadanie zaraz po jest zbudowany lub kwerendy magazyn danych po jest zarejestrowany.
• Administratorzy mogą teraz bezpośrednio przesłać do repozytorium miejsc pracy, co jest szczególnie przydatne, jeśli chcesz ręcznie edytować zawartość XML plików pracy.
• Dużo cruft technicznej jest teraz ukryta za pokazując proste dialogi. Na przykład, gdy jest uruchamiany praca duży wskaźnik ładowania jest wyświetlany, a po zakończeniu wynik zostanie pokazany. Zaawansowany ekran logowania, który wcześniej był tam nadal może być wyświetlany po kliknięciu łącza do dodatkowych informacji.

Co nowego w wersji 3.1.2:

• Dodaliśmy usługi internetowej w monitorowaniu Wniosek o uzyskanie (lista) wartości metryki. To sprawia, że ​​monitorowanie, nawet bardziej użyteczny jako składnik infrastruktury klucza, jako sposób monitorowania danych (jakości) i narazić wyniki do aplikacji firm trzecich.
• komponent "tabeli odnośników" został ulepszony przez dodanie dołączyć semantykę jak nieruchomości konfigurowalny. Korzystanie z dołączyć semantykę możesz zmienić, jeśli chcesz odnośnika do pracy semantycznie jak LEFT JOIN lub INNER JOIN.
• Elementy EasyDQ zostały zmodernizowane, dodając dodatkowe opcje konfiguracyjne i bogatszy interfejs wynik deduplikacji.
• Poprawiono wydajność były specyficzne tematem tego wydania. Poprawki zostały wprowadzone w silniku DataCleaner do dalszego wykorzystania podejścia przetwarzania strumieniowego w pewnych szczególnych przypadkach, które nie były objęte wcześniej.

Co nowego w wersji 3.1.1:

• Data i czas opcje analizy związane zostały rozszerzone , dodając, analizatory dystrybucji na numery tygodni, miesięcy i lat. Wszystkie analizatory związane z datą i czasem są teraz pogrupowane w podmenu o nazwie & quot; Data i czas & quot; pod & quot; Analizuj & rdquo;.
• Opcjonalny & quot; opisowe statystyki & quot; opcja została dodana do analizatora i analizatora Numer Data / czas. Ta opcja dodaje dodatkowe wskaźniki do wyników tych analizatorów, takich jak Median, asymetrii i kurtozy, percentyla. Te parametry są opcjonalne, ponieważ ich zużycie pamięci jest nieco większy niż w dotychczasowych wskaźników.
• Linie w listach osi czasu aplikacji internetowej monitorowania mają teraz małe kropki w nich. Jest to szczególnie przydatne w przypadku wykresów z kilku (lub nawet tylko jeden) obserwacji w nich. - Wskazać, gdzie dokładnie znajdują się punkty widokowe są
• Analizator składni zapytań podczas wywoływania zapytań ad hoc zostały również znacznie się poprawiła. Teraz pytania mogą zawierać odrębne klauzule, * -wildcards, podzapytania i są odporne na uszkodzenia do kwestii tekstu przypadku.
• Dwa nowe transformatory, które zostały dodane do generowania UUID i generowania znaczników czasu.

Co nowego w wersji 3.1:

• metryczne wzory - opracowane dane dotyczące jakości KPI:
• Teraz można zbudować znacznie więcej opracowania danych dotyczących jakości KPI w monitoringu aplikacji internetowej DataCleaner jest. Interfejs użytkownika pozwala na budowanie skomplikowanych formuł w arkuszu kalkulacyjnym, jak wzór stylu; przy użyciu zmiennych zgromadzonych przez zadania DataCleaner.
• wzory metryczne można łączyć dowolną liczbę metryki stałych i operacji, jak długo mogą być wyrażone w równaniu matematycznym.
• Na przykład - mierzymy szybkość zduplikowanych rekordów w procentach całkowitej liczby rekordów. Lub pomiaru ilości kodów produktów, które są zgodne z zestawem wielu wzorów smyczkowych.
• zapytań ad-hoc - z dowolnego magazynu danych:
• Z DataCleaner 3.1 można teraz wykonywać zapytań ad-hoc do dowolnego magazynu danych! Zapytania mogą być wyrażone w postaci zwykłego SQL i będą stosowane do baz danych, jak również plików, baz danych NoSQL i więcej, zapewniając prawdziwie pomocne mechanizm zapytań przedłużyć do swojego doświadczenia odkrycie i profilowania danych.
• Opcja zapytania jest również dostępna za pośrednictwem serwisu WWW do monitorowania użytkowników z roli administratora. Zapytanie jest jako parametr HTTP lub POST ciała, a wynik jest jako tabeli XHTML.
• Wartość matcher - nowa opcja Analiza:
• Często masz firmę pomysł na których wartości powinny być dozwolone i oczekiwaną dla danej dziedzinie. W DataCleaner nie zawsze była opcja Analiza wartości Dystrybucja, który pomoże Ci dochodzić swoich założeń. W DataCleaner 3.1 choć, trzeba bardziej precyzyjną ofertę - do matcher wartości. Opcja ta analiza pozwala określić zbiór wartości oczekiwanych, a następnie przeprowadzić analizę rozkładu wartości, takich jak, w szczególności, aby zweryfikować i określić, nieoczekiwane wartości.
• Kopiowanie, kasowanie i zarządzanie zatrudnienia:
• Zarządzanie zadań i wyników w zakresie stosowania monitora DataCleaner został znacznie się poprawiły. Możesz teraz kliknąć pracę w stronie Harmonogram monitora, i znaleźć opcje zarządzania dostępne dla operacji, takich jak zmiana nazwy, kopiowanie, usuwanie i więcej. Każda operacja szanuje powiązania z innych artefaktów na ekranie, takie jak wyniki analiz, harmonogramów i więcej. Oznacza to, że zarządzanie repozytorium monitoringu stało się dużo łatwiejsze i dojrzały.
• Zarządzaj historią jakości danych:
• Czasami jesteś w obliczu sytuacji, w której rzeczywiście chcesz zrobić monitoring z danych historycznych! Możliwe, że masz zabytkowych wysypisk lub kopie zapasowe baz danych, które chcesz pokazać i opowiedzieć historię. Teraz można zrobić analizę tego historycznego danych, przesłać go do monitora DataCleaner i używając nowy serwis internetowy, zestaw do historycznych danych o danym wyniku analizy. Oznacza to, że terminy będą prawidłowo wykreślić wyniki wykorzystując swoją planowaną datę, ale z wynikami, które zostały zgromadzone może w późniejszym czasie.
• Klastry Wsparcie harmonogramu (tylko EE):
• Harmonogram monitora DataCleaner został externalized, tak, że może być zastąpione pomocą prostej konfiguracji. W wersji Enterprise Edition (EE) z DataCleaner zapewniamy klastrowego harmonogramu, umożliwiając załadowanie równowagę i rozpowszechniać egzekucji w klastrze maszyn.
• Single-signon (SSO) za pomocą CAS (EE tylko):
• W wersji Enterprise Edition (EE) z DataCleaner teraz zapewnić możliwość jednorazowego SIGNON dla aplikacji monitora. Teraz DataCleaner może być integralną częścią infrastruktury IT, także bezpieczeństwa mądry.
• ... i wiele więcej:
• Powyższe to tylko podsumowanie. Ponad trzydzieści kwestie zostały rozwiązane w tej wersji. Rozwiązaliśmy kilka wniosków pochodzących z forów i społeczności i zachęcamy wszystkich do korzystania z tego medium jako narzędzie zmiany. Jesteśmy bardzo szczęśliwi, aby rozwój DataCleaner być silnym wpływem strumieni w społeczności.

Co nowego w wersji 3.0.3:

• Dodaje usługę do zmiany nazw miejsc pracy w repozytorium monitoringu .
• Możesz uzyskać dostęp to jako relaksującego usługi sieci Web lub interaktywnie w interfejsie użytkownika.
• usługa sieci Web została dodana do zmiany historyczną datę w wyniku analizy w repozytorium monitorowania.
• Aplikacja sieci Web została wykonana kompatybilny z pojemników dziedzictwo JSF.
• Buforowanie konfiguracji w aplikacji sieci Web została znacznie ulepszona, co prowadzi do szybszego ładowania strony i inicjalizacji pracy czasów.

Co nowego w wersji 3.0.2:

• Podczas uruchamiania zadania w aplikacji internetowej, monitorowania, panel automatycznie odświeża się co sekundę, aby uzyskać najnowsze stan realizacji.
• magazynów danych opartych na plikach (takich jak CSV lub Excel arkuszy kalkulacyjnych) z ścieżek bezwzględnych są teraz poprawnie rozwiązane w aplikacji do monitorowania sieci.
• & quot; Wybierz z klucz / wartość map & quot; Transformator obsługuje zagnieżdżone wybierz wyrażeń takich jak & quot; Address.Street & quot; lub & quot; elementami zamówienia [0] .product.name & rdquo;.
• Mechanizm tabeli odnośników zostały zoptymalizowane pod kątem wydajności, przy użyciu przygotowanych sprawozdań, gdy działa przeciwko baz danych JDBC.
• Administratorzy mogą teraz pobrać magazynów danych opartych plików bezpośrednio z & quot; magazynów danych & quot; strona.
• Obsługa wyjątków w stosowaniu monitoringu internetowej został nieco poprawić, dzięki czemu komunikaty o błędach bardziej precyzyjne i intuicyjne.