Beaver

Beaver jest demon Pythona munches na dzienniki i wysyła ich treść logstash.
instalacji
Korzystanie PIP:
Od Github:
pip install git + git: //github.com/josegonzalez/beaver.git#egg=beaver
Od PyPI:
pip install bobra == 1
Zastosowanie
Wykorzystanie:
Bóbr [-h] [-r {pracownik, interaktywne}] [-m {zawiązywać podłączyć}] [-p PATH]
& Nbsp; [- f PLIKI [PLIKI ...]] [-t TRANSPORT]
Opcjonalne argumenty:
-h, --help pokazuj tego komunikatu pomocy i kończy
-r {pracownik, interaktywne}, --run {pracownik, interaktywne}
& Nbsp; uruchomić pracownik lub tryb interaktywny
-m {zawiązywać podłączyć}, --mode {zawiązywać podłączyć}
& Nbsp; wiążą lub tryb łączenia
-p PATH, --path ścieżki PATH do plików dziennika
PLIKI -f PLIKI [...] --files [pliki plików ...]
& Nbsp; spacjami lista plików do oglądania. Zastępuje --path
& Nbsp; argumentem
-t {AMQP, Redis, stdout}, --transport {AMQP, Redis, stdout}
& Nbsp; zalogować metody transportu
tle
Beaver zapewnia lekką metodę wysyłki lokalnych plików dziennika do Logstash. Czyni to za pomocą zarówno Redis, stdin, zeromq jak transport. Oznacza to, trzeba mieć Redis, stdin, zeromq wejście gdzieś w dół drogi, aby dostać się wydarzenia.
Zdarzenia są przesyłane w formacie json_event logstash za. Opcje można również ustawić jako zmienne środowiskowe.
Przykłady
Przykład 1: Posłuchaj wszystkich plików w domyślnej ścieżce / var / log na standardowe wyjście:
bóbr
Przykład 2: Wysyłanie logów z / var / pliki dziennika do listy Redis:
REDIS_URL = "Redis: // localhost: 6379/0" Redis bobra -t
Przykład 3: Użyj zmienne środowiskowe wysłać logi z / var / pliki dziennika do listy Redis:
REDIS_URL = "Redis: // localhost: 6379/0" BEAVER_PATH = "/ var / log" BEAVER_TRANSPORT = Redis bobra
Przykład 4: Zeromq nasłuchuje na porcie 5556 (wszystkie interfejsy):
ZEROMQ_ADDRESS = "tcp: // *: 5556" bobra -m wiążą
# Logstash config:
{{zeromq wejściowe
& Nbsp; type => 'nadawca-input "
& Nbsp; mode => "klient"
& Nbsp; topologia => 'Pushpull "
& Nbsp; adres => 'tcp: // shipperhost: 5556 "
& Nbsp;}}
Wyjście {stdout {debug => true}}
Przykład 5: Zeromq podłączeniu do portu zdalnego 5556 na indekser:
ZEROMQ_ADDRESS = "tcp: // indeksowania: 5556" bobry -m podłączyć
# Logstash config:
{{zeromq wejściowe
& Nbsp; type => 'nadawca-input "
& Nbsp; mode => "serwer"
& Nbsp; topologia => 'Pushpull "
& Nbsp; adres => 'tcp: // *: 5556 "
& Nbsp;}}
Wyjście {stdout {debug => true}}

Co nowego w tym wydaniu:

• Upewnij nowe pliki są dodawane do transportuje konfiguracji. Zamyka # 96. Zamyka # 101. [Jose Diaz-Gonzalez]
• Możliwość numery pływaka na update_file_mapping_time. [Jose Diaz-Gonzalez]
• Fix nieprawidłowy odlew wartości logicznych. [Jose Diaz-Gonzalez]
• Wykonaj wszystkie konwersji w config.py. Zamyka # 99. [Jose Diaz-Gonzalez]

Co nowego w wersji 16:

• Określ maksymalny rozmiar kolejki 100 do ograniczenia przekroczenia pamięci. [Jose Diaz-Gonzalez]
• Użyj wieloprocesorowe do obsługi większych rozmiarów kolejek. [Jose Diaz- Gonzalez]
• Wcześniej były problemy, w którym pliki, które były aktualizowane częściej takie jak lakier lub serwera dzienników nie przytłaczają naiwną realizacji file.readlines () w ramach Beaver. Spowodowałoby Beaver powoli czytać coraz większe fragmenty pliku przed przetworzeniem żadnej linii, powodując ostatecznie Beaver wziąć na zawsze przetwarzać wiersze dziennika.
• Ta poprawka dodaje możliwość korzystania z wewnętrznej kolejki prac na linii logu. Ilekroć file.readlines () jest wywoływana, linie są umieszczane w kolejce, która jest wspólna z procesem potomnym. Proces dziecko tworzy swój własny transport, co pozwala nam potencjalnie stworzyć Pool procesu w przyszłości obsługiwać większy rozmiar kolejki.
• Należy pamiętać, że ograniczenie file.readlines () czytania w zbyt wiele linii nadal istnieje, a może nadal powodować problemy dla niektórych plików dziennika.
• Dodaj domyślny redis_password do klasy BeaverConfig. [Jose Diaz-Gonzalez]
• Fix brakuje podkreślenia powodując transport do złamania. [Norman Joyner]
• Wdrożenie Redis wsparcie uwierzytelniania. [Norman Joyner]
• Dodaj bobra skrypt startowy dla trybu daemonization. [Jose Diaz-Gonzalez]
• Użyj python rejestratora przy użyciu StdoutTransport. [Jose Diaz-Gonzalez]
• Dodaj krótkie flagi arg dla hosta i formacie. [Jose Diaz-Gonzalez]
• Dodaj możliwość daemonize. Zamyka # 79. [Jose Diaz-Gonzalez]
• Przekaż wokół przykład rejestratora do wszystkich transportów. [Jose Diaz-Gonzalez]
• Przywróć & quot; Dodane lekki Klasa Event & quot; [Jose Diaz-Gonzalez]
• Po naradzie, bóbr ma być & quot; & quot waga ;. Pozwala zostawić ciężki uderzenie z dużych chłopców.
• Ten powraca popełnienia 1619d33ef4803c3fe910cf4ff197d0dd0039d2eb.
• Dodane lekki klasy Event. [Jose Diaz-Gonzalez]
• wyłączną odpowiedzialność ta klasa będzie przetwarzanie danej linii jako zdarzenia. To przyszłość celem będzie działać jako lekki wdrożenia systemu filtracyjnego w Logstash
• Usuń wymóg argparse dla Pythona 2.7 i wyżej. [Jose Diaz- Gonzalez]

Co nowego w wersji 13:

• Poprawiono pewne zmienne środowiskowe. [Jose Diaz-Gonzalez]
• Pomoc tunelu SSH. [Jose Diaz-Gonzalez]
• Kod ten powinien pozwolić nam stworzyć tunel ssh pomiędzy dwoma różnymi serwerami w celu wysyłania i odbierania danych.
• Funkcja ta jest przydatna w niektórych przypadkach, w których będzie można inaczej muszą białej listy w konfiguracji zapory lub iptables, jak podczas pracy w dwóch różnych regionach na AWS.
• Zezwalaj na początkowym opóźnienia połączenia. Pomocne podczas oczekiwania na proxy SSH podłączyć. [Jose Diaz-Gonzalez]
• Naprawiono błąd, gdzie niektóre domyślnie konfiguracyjne były niewłaściwego wartości. [Jose Diaz-Gonzalez]
• Możliwość określenia hosta poprzez flagi. Zamyka # 70. [Jose Diaz-Gonzalez]

Wymagania :

• Python