DataFu

DataFu został opracowany na LinkedIn i jest w całości napisany w języku Java.

DataFu zawiera funkcje / bibliotek do pracy z:

- Statystyki

- Oszacowanie

- Sampling

- Sesje

- Link Analysis

- operacje set

- Torby

DataFu jest idealny do eksploracji danych i aplikacji pracujących na górze statystycznych baz danych Hadoop lub świni.

Te funkcje pozwalają programistom na pełne wykorzystanie wszystkich danych przechowywanych wewnątrz Hadoop lub Pig bazy danych bez konieczności radzenia sobie z wymaganiami systemu masowych w tym celu.

Co nowego w tej wersji.

• Para UDF dla prostego losowego pobierania próbek z wymianą
• Więcej zależności teraz pakowane w DataFu wymagane zależności więc mniej JAR.
• SetDifference UDF do obliczania ustawioną różnicę (na przykład A-B lub A-B-C).

Co nowego w wersji 1.2.0:

• Para UDF dla prostego losowego pobierania próbek z wymianą.
• Więcej zależności teraz pakowane w DataFu wymagane zależności więc mniej JAR.
• SetDifference UDF do obliczania ustawioną różnicę (na przykład A-B lub A-B-C).

Co nowego w wersji 1.1.0.

• Dodane hash SHA UDF
• InUDF i AssertUDF dodany Pig 0,12 kompatybilności. Są takie same jak w i potwierdzą.
• SimpleRandomSample, który realizuje skalowalnego algorytmu prostego losowego doboru próby.