Spidr

skrypt można uruchomić na jednej stronie, stronie internetowej, nawet wielu domen lub non-stop.
Spidr ma być szybka i łatwa w użyciu

Opis .

• Przywróć kolejkę spidering i historię z poprzedniej sesji .
• Niestandardowe ciągi User-Agent.
• ustawienia proxy klienta.
• obsługa protokołu HTTPS.


• następująco:
• tagi.
• tagów iframe.
• znaczniki ramek.
• Cookie chronione linki.
• HTTP 300, 301, 302, 303 i 307 przekierowania.
• Meta-Refresh przekierowania.
• Podstawowe HTTP Auth chronione linki.


• czarno-białe listy lub listy adresów URL oparte na:
• System URL.
• Nazwa hosta,
• Numer portu
• Pełna Link
• rozszerzenie URL


• Zapewnia połączeń zwrotnych dla:
• Każdy odwiedzane strony.
• Każdy odwiedził URL.
• Każdy odwiedził URL, który odpowiada określonym wzorcem.
• Każdy pochodzenia i przeznaczenia URI link.
• Każdy URL, które nie odwiedzają.


• Zapewnia metody działania w celu:
• Pauza spidering.
• Przejdź przetwarzanie stron.
• Przejdź przetwarzanie linków.

Co nowego w tym wydaniu:

• Złap OpenSSL :: SSL :: wyjątki SSLError gdy zainicjowany HTTPS sesje.