Scrapy

Scrappy jest napisane 100% w Pythonie i mogą być wykorzystane do prostych eksploracji danych, w celu monitorowania stron, wyszukiwarek internetowych, a nawet do testowania kodu.
Scrapy nie jest wyszukiwarka, w prawdziwym tego słowa znaczeniu, ale działa podobnie (bez części indeksowania). Niemniej Scrapy może być świetnym narzędziem do budowania wyszukiwarki logiki silnika na.
Prawdziwa moc w tym zakresie opiera się na wszechstronność jego rdzeń, Scrapy jest to system, w którym do budowania ogólnych lub dedykowanych pająki wyszukiwania (robotów indeksujących) na.
Chociaż może to wydawać się bardzo skomplikowane dla użytkowników nietechnicznych, szybkim spojrzeniem nad dokumentacją i dostępnych tutoriali, to całkiem proste, aby zobaczyć, jak Scrapy udało się wyjąć wszystkie twarde-prace z tego i zmniejszyć cały proces po prostu kilka linii kodu (dla łatwiej, mniejsze Przeszukiwacze)

Co nowego w tym wydaniu:.

• ścieżka prośba koniec cytatu przed przekazaniem do FTPClient, to już uciec ścieżki.
• Dołącz do testów / źródła dystrybucji w MANIFEST.in.

Co nowego w wersji 1.0.1:

• wniosek ścieżka koniec cytatu przed przekazaniem do FTPClient, to już uciec ścieżki.
• Dołącz do testów / źródła dystrybucji w MANIFEST.in.

Co nowego w wersji 0.24.6:

• Dodaj nagłówek kodowania UTF8 do szablonów
• konsola Telnet teraz wiąże się domyślnie 127.0.0.1
• Aktualizuj debian / ubuntu zainstalować instrukcje
• Wyłącz inteligentne napisy w ocenach lxml XPath
• Przywróć system plików oparty cache dla cache domyślnie HTTP middleware
• Expose aktualny robota w Scrapy powłoki
• Pomóż testsuite porównaniu CSV i XML eksporterów
• Nowy poza biurem / sączy i statystyki poza siedzibą / domen
• process_links wsparcia jako generator w CrawlSpider

Co nowego w wersji 0.24.5:

• Dodaj nagłówek kodowania UTF8 do szablonów
• konsola Telnet teraz wiąże się domyślnie 127.0.0.1
• Aktualizuj debian / ubuntu zainstalować instrukcje
• Wyłącz inteligentne napisy w ocenach lxml XPath
• Przywróć system plików oparty cache dla cache domyślnie HTTP middleware
• Expose aktualny robota w Scrapy powłoki
• Pomóż testsuite porównaniu CSV i XML eksporterów
• Nowy poza biurem / sączy i statystyki poza siedzibą / domen
• process_links wsparcia jako generator w CrawlSpider

Co nowego w wersji 0.22.0:

• Zmień nazwę scrapy.spider.BaseSpider do scrapy.spider .Spider
• Promuj startowego informacji na temat ustawień i middleware do poziomu INFO
• partials wsparcia w get_func_args util
• Możliwość uruchamiania testów indiviual poprzez tox
• Rozszerzenia Aktualizuj ignorowane przez wirówek łącza
• EXSLT selektorów rejestracji nazw domyślnie
• ujednolicenie Ładowarki podobne do selektorów item zmiana nazwy
• Klasa RFPDupeFilter łatwo subclassable
• Pomóż zakres badań i przyszłych Python 3 Wsparcie

Co nowego w wersji 0.20.1:

• include_package_data jest wymagane do budowy kół z publikowanych źródeł.

Co nowego w wersji 0.18.4:.

• Poprawiono AlreadyCalledError zastępując wniosek w polecenia powłoki
• Poprawiono start_requests lazyness i wczesne zawiesza się.

Co nowego w wersji 0.18.1:.

• Usunięto dodatkowy import dodany przez kąski zmiany
• Poprawiono indeksowania testy pod skręconych pre 11.0.0.
• py26 Nie można sformatować zerowej długości pola {}.
• Testuj PotentiaDataLoss błędy niezwiązanych odpowiedzi.
• Traktuj odpowiedzi bez Content-Length lub Transfer-Encoding jako dobrych odpowiedzi.
• Czy nie obejmują ResponseFailed jeśli http11 obsługi nie jest włączona.

Wymagania :

• Python 2.7 lub nowszy,
• Twisted 2.5.0 lub wyższej,
• libxml2 2.6.28 lub wyższej,
• pyOpenSSL