S3QL

S3QL obsługuje Amazon S3, jak również dowolne serwery SFTP i skutecznie zapewnia twardy dysk dynamiczny, nieskończonej pojemności, które są dostępne z dowolnego komputera z dostępem do Internetu.
S3QL zapewnia standardową, w pełni funkcjonalny system plików UNIX, który jest koncepcyjnie do odróżnienia od wszelkich lokalnym systemie plików. Ponadto S3QL ma dodatkowe funkcje, takie jak kompresja, szyfrowanie, deduplikacji danych, niezmiennych drzew i snapshotting które sprawiają, że szczególnie nadaje się do tworzenia kopii zapasowych i archiwizacji internetowej.
S3QL faworyzuje prostotę i elegancję nad wydajnością i fabularnego-pełzania. Dołożono aby kod źródłowy tak czytelne i łatwe w obsłudze, jak to możliwe. Solidna wykrywania błędów i obsługa błędów zostały zawarte od pierwszej linii, a S3QL zawiera rozbudowane zautomatyzowanych testów dla wszystkich jego składników.
Zanim system plików może być zamontowany, zaplecza, które będzie sprawować danych ma być inicjowane. Odbywa się to za pomocą polecenia mkfs.s3ql. Tutaj używamy zaplecza Amazon S3 i nikratio-s3ql-wiadro jest wiadro S3, w którym będą przechowywane w systemie plików.
mkfs.s3ql s3: // nikratio-s3ql-łyżka
Aby zamontować system plików S3QL przechowywane w wiadro nikratio_s3ql_bucket S3 w katalogu / mnt / s3ql, wpisz:
mount.s3ql s3: // nikratio-s3ql-wiadro / mnt / s3ql
Teraz możesz poinstruować swój ulubiony program tworzenia kopii zapasowych, aby uruchomić kopię zapasową do katalogu / mnt / s3ql a dane będą przechowywane Amazon S3. Po zakończeniu, system plików należy odmontować z
umount.s3ql / mnt / s3ql

Opis :

• Przezroczystość. Zasadniczo, S3QL jest nie do odróżnienia od lokalnego systemu plików. Na przykład, obsługuje hardlinki, dowiązania symboliczne, pełne uprawnienia UNIX, rozszerzonych atrybutów i plik o wielkości do 2 TB.
• Dynamiczny rozmiar. Wielkość systemu plików S3QL dynamicznie rośnie i kurczy się w razie potrzeby.
• Kompresja. Przed przechowywania, wszystkie dane mogą skompresowane LZMA, BZIP2 lub algorytm LZ.
• Szyfrowanie. Po kompresji (ale przed przesłaniem), wszystkie dane można AES szyfrowane kluczem 256 bitowym. Dodatkowa suma kontrolna SHA256 HMAC jest stosowany w celu ochrony danych przed manipulacją.
• deduplikacji danych. Jeśli kilka plików mają identyczne treści, nadmiarowe dane będą przechowywane tylko raz. To działa na wszystkich plików przechowywanych w systemie plików, a także, jeśli tylko niektóre części są identyczne pliki, podczas gdy inne części różnią.
• Drzewa niezmienne. Drzewa katalogów może być niezmienne, tak, że ich zawartość nie może być już zmieniona w jakikolwiek sposób. Może to zostać wykorzystane w celu zapewnienia, że ​​kopie nie może być modyfikowana po zatwierdzeniu.
• Kopiowanie przy zapisie / Snapshotting. S3QL może replikować całe drzewa katalogów, bez użycia dodatkowego miejsca. Jeśli tylko jedna z kopii jest zmodyfikowany część danych, który został zmodyfikowany zajmie dodatkowego miejsca. Może to być wykorzystane do utworzenia inteligentnych zdjęć, które zachowują stan katalogu w różnych punktach w czasie z minimalną ilość miejsca.
• Wysoka wydajność niezależnie od opóźnienia w sieci. Wszystkie operacje, które nie pisać lub czytać zawartość pliku (jak tworzenie katalogów lub przenoszenie, zmiana nazwy, zmiana prawa dostępu do plików i katalogów) są bardzo szybko, ponieważ są one wykonywane bez żadnych transakcji w sieci.
• S3QL osiąga to poprzez zapisanie całego pliku i struktury katalogów w bazie danych. Ta baza danych jest lokalnie buforowane i zdalnej kopii aktualizacja asynchronicznie.
• Obsługa połączeń o małej szerokości pasma. S3QL dzieli zawartość pliku na mniejsze bloki i buforuje bloków lokalnie. Minimalizuje to zarówno liczby transakcji sieciowych wymaganych do odczytu i zapisu danych oraz ilość danych, które muszą być przekazane, gdy tylko część pliku są odczytywane lub zapisywane.

Co nowego w tym wydaniu:

• Próby uaktualnić system plików, który jest już w najnowszej wersji nie czynią lokalne metadane skopiować bezużyteczny.
• Nazwy kubełkowe przechowywania Google zawierające kropki powodować problemy z już weryfikacji certyfikatu SSL.
• Naprawiono błąd podczas statvfs () jest wywoływana na prawie pusty systemu plików.
• Nie jest to nowy & quot; swiftks & quot; zaplecza dla / serwerach Swift OpenStack.
• Eliminuje sytuacji wyścigu, który może spowodować mount.s3ql upaść z & quot; rzucony wyjątek KeyError w zbiorach / abc.py & rdquo;.
• Naprawiono błąd, który może wystąpić, gdy próbuje sprzątać po otrzymaniu błąd połączenia lub serwera podczas wysyłania obiektu.

Co nowego w wersji 2.2:

• S3QL teraz używa połączeń SSL domyślnie i sprawdza certyfikaty serwera.
• wyścigu, które spowodowały istotną utratę zdalnego metadanych został ustalony.
• S3 zaplecza teraz usuwa wiele obiektów magazynowych przy użyciu jedną prośbę, jeśli to możliwe, zmniejszenie opóźnień, ruchu i liczbę wniosków do S3.
• S3QL jest teraz w stanie wykryć błędy serwera i przekierowań przed wszystkich danych zostało wysłane do serwera.
• Nowy "Rackspace" zaplecza, które pozwala na specyfikację regionu przechowywania obiektu w adresie URL pamięci został dodany.
• mount.s3ql opcja --compress pozwala teraz specyfikację poziomu kompresji.

Co nowego w wersji 1.15:

• Kolarstwo kopii zapasowych metadanych przy użyciu lokalnego zaplecza teraz trwa znacznie mniej czasu.
• nie jest już wymagane, że S3QL i Python APSW być związane z udostępnionej biblioteki samo SQLite.
• W mount.s3ql, Błąd podczas używania --metadata-upload-przedział 0 została ustalona.
• Zamiast całkowicie odmontować system plików (pozostawiając punkt montowania niedostępne), gdy brakuje danych zaplecza lub uszkodzone, S3QL teraz zwraca błąd i przełączniki tylko do odczytu operacji.

Co nowego w wersji 1.13:

• Ta wersja naprawia błąd, który powodował, zniekształcone metadane być napisane się przy użyciu najnowszych wersji eglibc.
• rozwiązuje problemy podczas próby dostępu do katalogu, w katalogu głównym systemu plików, który został niedawno usunięty z s3qlrm.
• Wsparcie Pozorni ACL została usunięta.
• Ta wersja lepsze uchwyty wiadra z nazwami nieważne DNS.
• będzie on ponownie, jeśli DNS nie jest dostępny.

Co nowego w wersji 1.11.1:

• Ta wersja naprawia błąd podczas korzystania z zaplecza S3 (regresja wprowadzona w wydaniu 1.11), zwiększa minimalną podano wielkość systemu plików do 1 TB i działa wokół błąd df więc rozmiar jest prawidłowo zgłoszony.

Co nowego w wersji 1.11:

• Metadata o przechowywanych obiektów jest teraz podzielony na kilka pól, więc Pole to jest nie dłuższy niż 256 bajtów. (To sprawia S3QL kompatybilny z szerszego zakresu dostawców pamięci). SWIFT zaplecza teraz ponawia jeśli otrzyma 5xx kodów błędów ze zdalnego serwera, a nie zawiedzie, gdy próbuje pobrać dane z wygasłym auth tokena.

Co nowego w wersji 1.10:

• S3S, s3cs i Zaplecza GSS zostały usunięte. Za pomocą nowej opcji --ssl wraz z s3, S3C i gs backendów zamiast.
• S3QL nie śledzi gwarancji spójności dla różnych backendów.
• Coraz więcej różnych dostawców pamięci oferując różne regiony, nadmiarowość i poziomów dostępności sprawia, że ​​to nie będzie możliwe.
• Podręcznik użytkownika zawiera nową sekcję, & quot; ważnych zasad, aby uniknąć utraty danych & rdquo;.
• Czytanie to jest zalecane.

Co nowego w wersji 1.9:

• Ta wersja umożliwia razy plików zmienić już po zmianie systemu strefa czasowa, poprawki i poprawia contrib / benchmark.p, naprawia & quot; Zbyt wiele przekierowań łańcuchowych & quot; bug, ponawia się na błędach serwera 5xx i dodaje eksperymentalny natywne wsparcie dla serwerów OpenStack / SWIFT i wsparcie eksperymentalnej proxy.

Co nowego w wersji 1.8:

• & quot; ValueError: Nie można zrzucić wartości NULL & quot; Błąd podczas metadane systemu plików został przesłany podczas ciężkich działalność system plików został ustalony.
• s3qlcp i zawartość katalogu wydajność dla bardzo dużych katalogów zostały poprawione.
• regresji wydajność rm zostało ustalone.
• -. Blocksize została zmieniona na --max-obj-size
• Niektóre wypadki, które miały miejsce w silnie jednoczesnego wykorzystania systemu plików zostały ustalone.
• python-llfuse 0.37 jest obecnie używany.

Ograniczenia :

• Istnieje jeszcze wiele błędów w kodzie i powinny być gotowe do czynienia z im. Niemniej jednak, można być raczej pewni, że błędy (choć niewygodne) nie naruszy zapisanych danych.