reppy 0.1.0

reppy rozpoczęła się z powodu braku wsparcia memoization w innych napotkanych parserach robots.txt, i brak wsparcia dla Crawl-delay i Sitemap na wbudowanym robotparser. Dopasowanie Pakiet ten obsługuje 1996 RFC, a także dodatkowe powszechnie realizowane...