ASPseek

Oprogramowanie Aspseek jest wyszukiwarka internetowa opracowana przez SWsoft i licencjonowane jako darmowe oprogramowanie na licencji GNU GPL.
Aspseek składa się z robota indeksowania, demon wyszukiwania i frontend wyszukiwania CGI. To może indeksować aż kilka milionów adresów URL i szukać słów i wyrażeń, używać symboli wieloznacznych, a nie Boolean wyszukiwania. Wyniki wyszukiwania mogą być ograniczone do danego okresu czasu, miejsce lub miejsca na WWW (zestaw stron) i posortowane według trafności (PageRank jest wykorzystywany) lub data.
Aspseek jest zoptymalizowany dla wielu witryn (indeks gwintowaną, asynchronicznych wyszukiwania DNS, grupowanie wyników przez strony internetowe), spacje, ale może być używany do przeszukiwania jednej witryny, jak również. Aspseek może pracować z wielu języków / kodowania na raz (w tym kodowania wielobajtowych, takich jak chiński) ze względu na tryb pamięci Unicode. Inne funkcje obejmują stopwords i Ispell Support: charset i języka odgadywanie, szablony HTML dla wyników wyszukiwania, fragmentów i zapytania słów podkreślających.
Aspseek jest napisany w C ++ z wykorzystaniem biblioteki STL, i wykorzystuje mieszankę bazy danych SQL i plików binarnych do magazynowania.
Oto kilka kluczowych cech "Aspseek":
Zdolność do indeksu i wyszukiwania przez kilka milionów dokumentów
 
· Korzystanie Aspseek, można zbudować bazę danych i przeglądać wielu stron, a wyniki dla każdego zapytania zostanie zwrócona szybko, nawet jeśli masz kilka milionów dokumentów w indeksie. Oczywiście, to zależy od sprzętu, więc nie należy się spodziewać "stare dobre" maszyna i486 co do obsługi w domenie .com witryny. Wszystko zależy od procesora (ów), pamięci, szybkości dysku itp Więc zrobić własne badania Zanim kupisz dedykowanego sprzętu.
 
· To, że Aspseek jest zoptymalizowany dla dużych ilościach nie powinno powstrzymać od używania szukać swojej własnej strony, która zawiera kilkaset dokumentów - to działa również tam.
 
Bardzo dobry trafności wyników
 
· Celem wyszukiwarki jest znaleźć to, co użytkownik chce. Nie może być tysiące adresami w wyniku zapytania, ale może to być istotne, więc użytkownik będzie niezadowolony.
 
· Wyniki wyjścia w Aspseek są klasyfikowane według trafności (lub stopnia), ale nie jest kalkulacja Ranking zadaniem łatwym. Deweloperzy bardzo się starał, aby włączyć największe i najnowsze techniki do silnika Aspseek przy zachowaniu dobrej szybkości wyszukiwania.
 
Wsparcie Ispell
 
· Gdy Aspseek jest używany z Ispell wsparcia, searchd (1) może ewentualnie znaleźć wszystkie formy dla wszystkich określonych słów (na przykład: tworzenie -> Tworzenie lub utworzonych lub tworzy). Tak, to pozwala znaleźć wyraz we wszystkich różnych formach.
 
Tryb pamięci Unicode
 
· Aspseek może przechowywać informacje o dokumentach w formacie Unicode, dzięki czemu możliwe jest stworzenie wyszukiwarki w wielu językach. Więc może indeksować i przeszukiwać dokumenty w języku angielskim, rosyjskim, a nawet chiński, wszystko w jednej bazie danych.
 
HTTP, HTTPS, HTTP proxy, FTP (przez pełnomocnika) protokoły
 
· Jak Aspseek jest wyszukiwarka internetowa, używa protokołu HTTP do stron indeksowych. Aspseek obsługuje również bezpieczny protokołu https: //. Protokół FTP nie jest obsługiwany bezpośrednio, ale można użyć proxy (jak kalmary) i witryn FTP za pośrednictwem pełnomocnika indeksu.
 
· Aspseek wspiera "podstawowe uwierzytelnienie" funkcji HTTP, dzięki czemu można obszary chronione hasłem indeksu (na przykład prywatne informacje w sieci intranet).
 
Text / html i text / plain wsparcie typy dokumentów
 
· Aspseek może zrozumieć dokumenty napisane w HTML i zwykłe dokumentów tekstowych. Są to najbardziej popularne formaty w Internecie.
 
· Inne formaty, takie jak PDF, RTF, itp, może być obsługiwany za pomocą dowolnego programu / skryptu zewnętrznego, który jest w stanie przekonwertować formaty HTML lub zwykły tekst.
 
Wielowątkowy projekt, rozpoznawania nazw DNS itp asynch
 
· Aspseek wykorzystuje wątki POSIX, to oznacza, że ​​jeden proces ma wiele wątków działających równolegle. Więc pobrań indeks dokumenty z wielu miejsc i sposobów wyszukiwania demon wiele zapytań jednocześnie. To nie tylko pomaga Aspseek lepsze skalowanie na SMP (wieloprocesorowe) systemów, ale także poprawia szybkość indeksowania, ponieważ w przypadku jednego wątku najwięcej czasu zostanie przeznaczone na oczekiwanie na dane z sieci.
 
· Jedna rzecz, że powolny proces indeksowania w dół dużo jest wyszukiwanie DNS (proces określania adresu IP przy użyciu nazwy serwera). Aby uniknąć opóźnień, asynchroniczne wyszukiwań (lookup jest wykonywane przez oddzielne procesy dedykowanych) i adres IP cache są realizowane.
 
Stopwords
 
· Stopwords są słowa, które nie mają znaczenia sama. Przykłady: jest, to, co ten. Wyszukiwanie w jest bezużyteczny, więc takie słowa są wyłączone z zapytania. Stopwords są również wyłączone z bazy danych w trakcie indeksowania, więc baza danych staje się mniejszy i szybszy.
 
· Nie ma "wbudowanych" stopwords w Aspseek, są one ładowane podczas rozruchu z plików. Wiele plików stopword dla różnych językach pochodzi z Aspseek.
 
Charset guesse
 
· Niektóre łamane lub źle skonfigurowane serwery nie powiedzieć klientom zestaw znaków, w jaki udzielają treści. Jeśli indeksowanie takich serwerów, lub za pomocą Aspseek do serwerów ftp indeksu (protokół FTP nie wie nic na temat zestawów znaków), charset odgadywanie może być stosowany do czynienia z nim. Charset odgadywanie używa tabel częstotliwości słownych (zwane langmaps) w celu określenia właściwego kodowania.
 
Standardowe wyłączenie robota (robots.txt) wsparcie
 
· Aspseek pełni obsługuje ten standard. Jest on przeznaczony dla autorów stron WWW za mówienie robota (na przykład, indeks Aspseek (1)), aby pominąć indeksowanie niektóre katalogi swoich stronach.
 
· Więcej informacji można znaleźć http://www.robotstxt.org/wc/robots.html
 
Ustawienia kontrolować wykorzystanie przepustowości sieci i serwerów internetowych obciążenia
 
· Można precyzyjnie kontrolować przepustowość sieci, że wskaźnik (1) korzysta. Dokładnie, można ograniczyć przepustowość (wyrażoną w bajtach na sekundę) używanego przez indeks (1) na podany czas w dzień. Na przykład, można ograniczyć przepustowość w godzinach pracy, więc ludzie w biurze nie będą występować powolny internet.
 
· Można także ustawić minimalny czas między dwoma zapytaniami do tego samego serwera WWW, więc nie będzie przeciążony i dostał się na kolana podczas biegu indeks (1).
 
Real-time asynchroniczne indeksowanie
 
· Niektóre wyszukiwarki wymaga, że ​​należy przerwać szukaj na czas aktualizacji bazy danych. Aspseek nie potrzebuje, więc można szukać non-stop.
 
· Więcej do powiedzenia, jest specjalny tryb indeksowania nazywany "w czasie rzeczywistym" indeksowanie. Możesz użyć go do niewielkiej liczby dokumentów, a jeśli chodzi o taki dokument zostanie pobrane i przetworzone, zmiany są natychmiast widoczne w interfejsie wyszukiwarki. Funkcja ta jest bardzo pomocna, jeśli budujesz wyszukiwarkę stron z szybko zmieniającym treści, takich jak wiadomości online itp
 
· Należy pamiętać, że wiele dokumentów w "czasie rzeczywistym" danych jest ograniczona. Jest to około 1000 na naszym sprzęcie (może się wahać) i masz więcej dokumentów w bazie "w czasie rzeczywistym", tym wolniej będzie szybkość indeksowania do tego (i tylko tego) bazy danych. Nie wpłynie to szybkość wyszukiwania choć.
 
· Dokumenty z bazy danych "w czasie rzeczywistym" zostaną przeniesione do normalnego po uruchomieniu bazy danych, indeks (1), w normalny sposób.
 
Sortowanie wyników według trafności lub według daty
 
· Wyszukiwarki zwykle zwraca najbardziej trafne wyniki jako pierwsze. Ale jeśli szukasz najnowszych stron, można powiedzieć Aspseek sortowanie wyników według daty ostatniej modyfikacji, tak niedawno zmodyfikowane (lub tworzone) strony będą wyświetlane w pierwszej kolejności.
 
Fragmenty, podkreślając słowa kwerendy
· Wyciąg jest kawałek znalezionego dokumentu ze słowami szukał podświetlone, tak, aby dać wyobrażenie o tym, co dokument jest o. Można dostosować liczbę fragmentów Wyświetlanie i ich długości. Jeśli będzie wyłączyć fragmenty, będą wyświetlane na początku dokumentu.
 
· Każdy znalazł dokument towarzyszy link "Kopia". Aspseek utrzymuje lokalną sprężonego wszelkie dokumenty przetwarzane, więc użytkownik może zobaczyć cały dokument (opcjonalnie) podkreślił, słowa, które zostały poszukiwania, nawet jeśli został usunięty z pierwotnym miejscu (to się zdarza).
 
Grupowanie wyniki miejscu
 
· Wyniki jednym miejscu mogą być grupowane. Jeśli grupowanie przez strony jest tylko dwa wyniki są wyświetlane w tym samym miejscu domyślnie, a użytkownik może zobaczyć inne strony z tego samego miejsca, wykonując "więcej firm z ..." link.
 
Klony
 
· Klony są identycznymi dokumenty w różnych miejscach. Są one wykrywane i pogrupowane, więc użytkownik nie zostaną przedstawione z pełnym URL strony do identycznych dokumentów.
 
· Wykrywanie Clone jest zwykle ograniczony jednym miejscu (tak identyczne dokumenty z różnych stron, nie są liczone jako klonów), ale można to zmienić rekompilacji Aspseek z opcją --disable-klony-po-stronie.
 
Przestrzenie i podzbiory
 
· Przestrzeń jest zestaw stron. Tak więc, jeśli chcesz, aby zapewnić wyszukiwanie zawężony do jakiejś dziedzinie, można stworzyć przestrzeń i wyszukiwania w obrębie tej przestrzeni. Tylko całe strony (np http://www.mysite.com/) mogą być zawarte w przestrzeni.
 
· Podzbiory mogą być stosowane w celu ograniczenia wyszukiwania. Można utworzyć podzbiór i umieścić maskę URL (jak http://www.mysite.com/mydir/%) w to, a następnie ograniczyć zakres wyszukiwania tylko do danego podzbioru.
 
· Możesz ograniczyć zakres wyszukiwania, nie tylko jednego, ale kilku podgrupach lub spacjami.
 
Szablony HTML dla łatwego do dostosowywania wyników wyszukiwania
 
· Można dostosować swoje strony wyszukiwania, więc będą one wyglądać i być zintegrowane z resztą swojej stronie. Odbywa się to poprzez proste wyszukiwanie edycji pliku szablonu.
Instalacja
gzip -dc Aspseek-1.2.10.tar.gz | tar xf -
cd Aspseek-1.2.10. / skonfigurować
Marka
su
make install