Gloo

Gloo zapewnia narzędzia i funkcje do zarządzania projektami danych w Pythonie. & Nbsp; Wymaga użycia ipython i pandy.
Krótki przykład przepływu pracy:
z importu gloo interaktywnej
interactive.create_project ("myproject")
#now jeśli mamy jakieś kilka skryptów do wykorzystania, a niektóre dane w folderze danych mamy
#can załadować projekt
interactive.load_project ()
Wprowadzenie
Celem Gloo za to powiązać ze sobą wiele działań, analizy danych, które zdarzają się regularnie i zrobić, że przetwarza proste. Automatyczne ładowanie danych do ipython środowiska, uruchamianie skryptów, dzięki czemu funkcje utitlity dostępne. Są to rzeczy, które muszą być wykonane często, ale nie są częścią zabawy.
Co dzieje się gdy create_project zadzwonisz ("myproject")
create_project (PROJECT_NAME = "myproject", ** kwds)
PROJECT_NAME: To jest ciąg znaków, który jest nazwą projektu.
Aktualne opcje konfiguracyjne:
& Nbsp; full_structure wartość logiczną, że jeśli prawdą tworzy pełną strukturę folderów. Jeśli to prawda struktura folderów przedstawić poniżej. Domyślnie jest to prawda.
& Nbsp; pakiety lista ciągów pakietów Pythona do ładowania, gdy load_project () jest wywoływana. Domyślnie jest pusta.
& Nbsp; zalogowaniu wartość logiczną dyktować jeśli rejestrowanie jest uruchamiany, gdy load_project () jest wywoływana. Domyślnie jest to fałsz.
& Nbsp; git wartość logiczną dyktować jeśli repo git jest init'd. Domyślnie jest to fałsz.
Opcje te są zapisywane w pliku json nazwie .config.json w katalogu głównym katalogu projektu.
Co się dzieje, gdy zadzwonisz load_project ()
load_project ()
1. config jest ładowany do słownika.
2. danych jest katalog danych wprowadza się do środowiska. Odbywa się to rekurencyjnie więc można mieć podkatalogi. Jeśli tak, folder nadrzędny pliku danych będzie dołączany do pliku danych, folder_file. Plan jest taki, aby poprzedniki opcjonalne.
3. Pliki w katalogu munge są prowadzone. Ten folder jest gdzie umieścić pliki niezbędne do przeróbki danych.
4. Pliki w katalogu lib są importowane. Ten folder jest gdzie umieścić pliki, które chcesz załadować jako moduł.
5. Pakiety określone w konfiguracji są ładowane do środowiska.
6. rozpoczęciu rejestrowania
Struktura folderów
Pełna struktura przedstawia się następująco:
Dane /: dane
doc /: dokumentacja
/ Diagnostyka: automatycznie wyszukuje problemy danych
wykresy /: wykres zamieszkania
lib /: funkcje użytkowe
munge /: skrypty przerób
profilowanie /: wyniki benchmarku
Raporty /: sprawozdania będziesz produkują
Testy /: testy
Wkład
Ponieważ projekt ten jest w tak wczesnym stanie chciałbym dla każdego i wszystkich, aby pomóc przyczynić. Myślę, że to może być bardzo cenne dla osób pracujących z Pythona na projets danych.