cpdetector

Projekt cpdetector jest niewielki, ale sprytny ramy wykrywania strony kodowej.
cpdetector jest niewielki, ale sprytny ramy wykrywania strony kodowej, który integruje różne strategie. Może być stosowany jako bibliotece oprogramowania firm trzecich, które uzyskuje dostęp do danych tekstowych za pośrednictwem sieci.
Zawiera również wdrażanie najlepszych praktyk w formie linii poleceń narzędzie, które umożliwia sortowanie i przekształcania dużych zbiorów dokumentów na podstawie ich strony kodowej.
Dostępne strategie obejmują: jchardet (wykluczenia, analizy częstotliwości i zgadywania), wykrywanie nieruchomości HTML charset i wykrywanie deklaracja kodowania XML.
Co to jest strona kodowa?
Po pierwsze, dokument tekstowy jest niczym więcej niż sekwencji bitów. Komputer musi zdecydować, w jaki sposób może wyświetlać te dane w postaci znaków (które są identyfikowane przez komputer jako numery).
Strona kodowa - który jest również znany jako kodowanie charset - odwzorowuje dane surowe dokumentu tekstowego do znaków. Oryginalna strona kod ASCII na przykład używa tylko 7 bitów (bajt o oktetu) do decydowania o znak, który jest reprezentowany w ten sposób pozwalając tylko map 128 różnych znaków. W minionym pamięci było drogie i komputery najczęściej miał tylko rejestry i autobusy do 8 bitów.
Gdy mainframe został pomyślany musiała podjąć decyzję, jakie znaki powinny wspierać. Lekarze i matematycy na przykład potrzebne znaki specjalne dla równań. W rezultacie, często wysyłają komputer ze specjalnym kodowej

Co nowego w tym wydaniu:.

• To ważne poprawki błędów wersja rozwiązuje dwa problemy w trybie wiersza poleceń partii.
• Wyłącznik pominąć poruszających dokumentów niewykryte teraz działa ponownie.
• Nie podjęta zostanie próba transkodowanie dokumentów niewykrytych (ostatnie spowodowane wyjątkową przepływem programu).

Co nowego w wersji 1.0.8:

• Ta wersja jest wersją stabilność i rozwiązuje bajt zamówić wykrycie niezgodności z znak i OpenJDK. Wymaga to także Java 1.5 teraz.