yahi

yahi to wszechstronny analizator dziennika zapewniając domyślne wyciągami dla apache / lighttpd.
Wykorzystanie linii poleceń
Przykład danych analizowanych w yahi: http://wwwstat.julbox.fr/
Najprostszym użycia:
speed_shoot -g / usr / local / data / geoip / var / www / apache / dostępu * log
zwróci ona json w postaci:
{
& Nbsp; "by_date": {
& Nbsp; "03.05.2012": 11
& Nbsp;},
& Nbsp; "total_line": 11,
& Nbsp; "ip_by_url": {
& Nbsp; "/ favicon.ico": {
& Nbsp; "192.168.0.254": 2,
& nbsp; "192.168.0.35": 2
& Nbsp;},
& Nbsp; "/": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 1,
& nbsp; "192.168.0.35": 5
& Nbsp;}
& Nbsp;},
& Nbsp; "by_status": {
& Nbsp; "200": 7,
& Nbsp; "404": 4
& Nbsp;},
& Nbsp; "by_dist": {
& Nbsp; "nieznany": 11
& Nbsp;},
& Nbsp; "bytes_by_ip": {
& Nbsp; "74.125.18.162": 151,
& Nbsp; "192.168.0.254": 489,
& Nbsp; "192.168.0.35": 1093
& Nbsp;},
& Nbsp; "by_url": {
& Nbsp; "/ favicon.ico": 4,
& Nbsp; "/": 7
& Nbsp;},
& nbsp; "by_os": {
& Nbsp; "nieznany": 11
& Nbsp;},
& Nbsp; "week_browser": {
& Nbsp; "3": {
& Nbsp; "nieznany": 11
& Nbsp;}
& Nbsp;},
& Nbsp; "by_referer": {
& Nbsp; "-": 11
& Nbsp;},
& Nbsp; "by_browser": {
& Nbsp; "nieznany": 11
& Nbsp;},
& Nbsp; "by_ip": {
& Nbsp; "74.125.18.162": 1,
& Nbsp; "192.168.0.254": 3,
& nbsp; "192.168.0.35": 7
& Nbsp;},
& Nbsp; "by_agent": {
& Nbsp; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; rv: 12.0) Gecko / 20100101 Firefox / 12.0, gzip (GFE) (przez translate.google.com)": 1,
& Nbsp; "Mozilla / 5.0 (X11; Linux x86_64;; Ubuntu rv: 12.0) Gecko / 20100101 Firefox / 12.0": 10
& Nbsp;},
& Nbsp; "by_hour": {
& Nbsp; "9": 3,
& Nbsp; "10": 4,
& Nbsp; "11": 1,
& Nbsp; "12": 3
& Nbsp;},
& Nbsp; "wg krajów": {
& Nbsp; "": 10,
& Nbsp; "US": 1
& Nbsp;}
}
Jeśli używasz:
speed_shoot -f CSV -g / usr / local / data / geoip / var / www / apache / dostępu * log
Twój wynik jest:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, /, 74.125.18.162,1
ip_by_url, /, 192.168.0.254,1
ip_by_url, /, 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, nieznany, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, /, 7
by_os, nieznany, 11
week_browser, 3, nieznany, 11
by_referer, -, 11
by_browser, nieznany, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11; Linux x86_64;; Ubuntu rv: 12.0) Gecko / 20100101 Firefox / 12.0, gzip (GFE) (przez translate.google.com)", 1
by_agent, Mozilla / 5.0 (X11; Linux x86_64;; Ubuntu rv: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour, 12,3
wg krajów ,, 10
wg krajów, USA, 1
No chyba, że ​​nie działa, bo trzeba najpierw pobrać plik danych geoip:
wget -O "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Oczywiście, jest to baza geoLite, nie zawierają danych w pakiecie od geoip musi być często aktualizowane, aby zatrzymać dokładne.
Domyślna ścieżka dla geoip to dane / GeoIP.dat
Użyj jako skrypt
Prędkość strzelać w rzeczywistości szablon, jak używać yahi jako moduł:
#! / Usr / bin / env python
od importu archery.bow Hankyu jak _dict
z yahi importu wycięcie, strzelać
z datetime import datetime
context = wycięcie ()
date_formater = lambda dt: "% s-% s-% s"% (dt.year, dt.month, dt.day)
context.output (
& Nbsp; strzelać (
& Nbsp; kontekstu,
& Nbsp; Dane lambda: _dict ({
& Nbsp; "wg krajów": _dict ({dane ['_ kraju]: 1}),
& Nbsp; "by_date": _dict ({date_formater (dane ['_ datetime "]): 1}),
& Nbsp; "by_hour": _dict ({. Dane ['_ datetime "] godzina: 1}),
& Nbsp; "by_os": _dict ({dane ['_ os_name "]: 1}),
& Nbsp; "by_dist": _dict ({dane ['_ dist_name "]: 1}),
& Nbsp; "by_browser": _dict ({dane ['_ browser_name "]: 1}),
& Nbsp; "by_ip": _dict ({dane ['ip']: 1}),
& nbsp; "by_status": _dict ({dane ['stanu']: 1}),
& Nbsp; "by_url": _dict ({dane ['']: uri 1}),
& Nbsp; "by_agent": _dict danych ({["przedstawiciel"]: 1}),
& Nbsp; "by_referer": _dict ({dane ['Referer "]: 1}),
& Nbsp; "ip_by_url": _dict ({dane ['']: uri ({dane _dict ['ip']: 1})}),
& Nbsp; "bytes_by_ip": _dict ({danych ['ip']: int (dane ['bajtów'])}),
& Nbsp; "week_browser ':. _dict ({Dane [' _ datetime"] dzień tygodnia ():
& Nbsp; _dict danych ({["_ browser_name"]: 1})}),
& Nbsp; "total_line ': 1,
& Nbsp;}),
& Nbsp;)
)
instalacji
proste, jak:
pip install yahi
lub:
easy_install yahi
zalecanego użycia
- Dla podstawowego agregacji dziennika, ja polecam używając polecenia;
- Dla jednego metryk strzałowych polecam interaktywną konsolę (bpython lub ipython);
. - Dla poszczególnych wskaźników lub rozbudowanych filtrów polecam używając API

Wymagania :

• Python