Pcompress

Pcompress to narzędzie open source wiersza polecenia równolegle do kompresji, dekompresji i deduplikacji, poprzez podział danych wejściowych na kawałki.
Pcompress dysponuje Delta, opcję kompresji stałego bloku, kompresja metadanych, obsługę wielu algorytmów, w tym LZMA, LZMA wielowątkowych, PPMd, BZIP2 lub LZ4, silnej integralności danych, filtry, Macierz przekształcenia, szyfrowanie, uwierzytelnianie wiadomości, metadanych, pokrytego przetwarzania, zwyczaj podzielnik, tryb stały, wyściółka i wiele więcej

Co nowego w tym wydaniu:.

• To jest główne wydanie wyposażony archiwizacji wsparcia w oparciu o libarchive. Zaawansowane techniki są wykorzystywane do wykrywania typów plików i stosować odpowiednie algorytmy kompresji lepiej. Filtry takie jak PackJPG dla plików JPEG i Dispack dla plików wykonywalnych są wykorzystywane do poprawy prasowalności. Kilka heurystyka pomaga wykrywać już skompresowanych danych i uniknąć kosztownych czynności kompresji. Archiwum wpisów sortowane są również treści związane klastra i osiągnąć lepszą kompresję. Granice podziału danych na wielu równoległych wątków są wyznaczane z toczenia zmiany skrótu typu pliku i. Techniki MMAP i zero-Copy są używane wewnętrznie w miarę możliwości, aby zwiększyć wydajność. Niektóre optymalizacje zostały również zrobić, aby zmniejszyć zużycie pamięci. Wykorzystanie został uproszczony z większości funkcji automatycznie skonfigurowane na poziomie kompresji.
• Z tych zmian Pcompress mogą działać jako pełnoprawny archiwizatora, jak tar lub cpio i zapewniają lepsze współczynniki kompresji i lepszą wydajność niż tryb kompresji pojedynczych plików. Pcompress bardzo korzystny w porównaniu do innych wiodących mediów Archiver.

Co nowego w wersji 2.4:

• Ta wersja rozwiązuje szereg problemów, w tym kilka przypadków rogu i wywala Kilka przepełnienia bufora.
• danych deduplikacji można teraz zrobić za pomocą bloków tak małe jak 2KB, zapewniając znacznie wyższy stosunek dedupe niż praktycznie dowolnego innego oprogramowania deduplikacji.
• wydajność deduplikacji na podstawie podobieństwa została poprawiona.
• Dokładność detekcji Bezpłatne pamięci również zostało udoskonalone.

Co nowego w wersji 2.3:

• Ta wersja naprawia kilka błędów i zapewnia szereg ulepszeń w zakresie efektywności i wydajności.
• Skuteczność wykrywania podobieństwa na podstawie podobieństwa do niemal dokładna deduplikacji została poprawiona.
• Na tych samych wymagań dotyczących pamięci czas dla indeksu została zmniejszona.
• Dokładność partycjonowania danych pomiędzy wątkami została poprawiona.
• wyrwy i wydajność indeksowania zostały ulepszone i obliczenia KMV Szkic jest teraz bardziej dokładne.
• Ta wersja porusza wszystkie podstawowe funkcje do udostępnionej biblioteki w ramach przygotowań do interfejsu API, które zostaną wprowadzone w kolejnych wersjach.

Co nowego w wersji 2.2.

• Jest to przede wszystkim wydanie poprawkowe,
• naprawia kilka wypadków z nieprawidłowych danych i budować problemy na starszych procesorach i Debian6 nie SSE4.
• Min-sterty na podstawie dopasowania Podobieństwo Delta Kodowanie został poprawiony i szybsze i bardziej dokładne.
• Dokładność skalowalne segmentowego globalnej deduplikacji został udoskonalony, aby być większa niż 95%.
• Więcej testami, które zostały dodane.

Co nowego w wersji 2.1.

• W tej wersji dodano wiele poprawek i ulepszeń wydajności
• Dokładność w znalezieniu duplikatów w globalnej DeDupe została poprawiona.
• SHA256 jest teraz domyślnym blok algorytmu hash dla DeDupe, z możliwością zmiany odrębnie od mieszania weryfikacji fragment.
• Ogólnie rzecz biorąc, wiele ulepszeń wydajności zostały dokonane, z lepszą równoległości, więcej SSE wektoryzacji i szybsze sortowanie i poprawy obsługi segmentu hash lista plików, co powoduje mniejszą I / O i mniej przypadkowych wejść.
• Błędy w obliczaniu w pamięci rozmiar indeksu została ustalona w celu uniknięcia przepełnienia wolnej pamięci RAM i zamiana na dysku.