MooseFS

MooseFS jest odporne na uszkodzenia, rozproszony system plików w sieci, które rozprzestrzenia się dane w ciągu kilku serwerów fizycznych, które są widoczne dla użytkownika jako jeden zasób & nbsp; dla standardowych operacji na plikach MooseFS działa jak innych Unix-podobne systemy plików.:
& Nbsp; * hierarchiczna struktura (drzewo katalogów)
& Nbsp; * atrybuty plików Sklepy POSIX (uprawnienia, w zeszłym dostępu i modyfikacji razy)
& Nbsp; * Obsługuje pliki specjalne (urządzenia blokowe i znakowe, rury i gniazda)
& Nbsp; * symboliczne linki (nazwy plików, wskazując na cel plików, niekoniecznie na temat MooseFS) i dowiązania twarde (różne nazwy plików, które odnoszą się do tych samych danych na MooseFS)
& Nbsp; * Dostęp do systemu plików mogą być ograniczone na podstawie adresu IP i / lub hasło
Cechy wyróżniające MooseFS są:
& Nbsp; * Wysoka niezawodność (kilka kopii danych można przechowywać na oddzielne komputery)
& Nbsp; * Pojemność jest dynamicznie rozbudowy poprzez dołączenie nowych Komputery / dyski
& Nbsp; * Usunięte pliki są przechowywane w konfiguracji okres czasu (na poziomie systemu plików "kosza")
& Nbsp; * Spójne migawkami plików, nawet gdy plik jest napisane / obejrzano
MooseFS składa się z czterech elementów:
& Nbsp; * serwer zarządzający (serwer główny) & ndash; jedna maszyna zarządzania całą system plików, przechowywania metadanych dla każdego pliku (informacje na temat wielkości, atrybuty i lokalizację pliku (s), zawierający wszystkie informacje o nieregularnych plików, czyli katalogów, gniazda, rur i urządzeń).
& Nbsp; * Serwery danych (serwery chunk) - dowolna liczba serwerów surowców przechowywania danych i synchronizacji plików między sobą to (jeśli dany plik ma występować w więcej niż jednej kopii).
& Nbsp; * Metadane serwer (s) kopia zapasowa (serwer metalogger) - dowolna liczba serwerów, z których wszystkie logi zmian sklep metadanych i okresowego pobierania główny plik metadanych; tak, aby promować te serwery do roli serwera zarządzającego, gdy przestaje działać podstawowej mistrzem.
& Nbsp; * Komputery klienckie, że dostęp (Mount) pliki w MooseFS - Dowolna ilość urządzeń wykorzystujących proces mfsmount do komunikowania się z serwerem zarządzającym (do odbierania i modyfikować metadane pliku) i chunkservers (do wymiany danych rzeczywistych plików).
mfsmount jest oparty na mechanizmie FUSE (FUSE), więc MooseFS jest dostępny na każdym systemie operacyjnym z realizacji FUSE pracy (Linux, FreeBSD, MacOS X, itd.)
Metadane są przechowywane w pamięci serwera zarządzającego i jednocześnie zapisywane na dysku (jako okresowo aktualizowany pliku binarnego i bezpośrednio przyrostowych dzienniki). Główny plik binarny, a także dzienniki są synchronizowane z metaloggers (jeśli występuje).
Dane plik jest podzielony na fragmenty (kawałki) z maksimum 64MiB każdego. Każdy fragment jest sam plik na wybranych dysków na serwerach danych (chunkservers).
Wysoka niezawodność osiągnięto poprzez skonfigurowanie tyle różnych serwerów danych stosownie do realizacji wartości "cel" (liczbę przechowywanych kopii) określonych dla danego pliku.
Jak działa system
Wszystkie operacje na plikach na komputerze klienckim, które montowane MooseFS są dokładnie takie same jak oni być z innych systemów plików. Jądro systemu operacyjnego przenosi wszystkie operacje na plikach do modułu FUSE, który komunikuje się z procesem mfsmount. Proces mfsmount komunikuje się poprzez sieć następnie z zarządzających serwerów i danych serwerów (serwerów chunk). Cały proces jest całkowicie niewidoczny dla użytkownika.
mfsmount komunikuje się z serwerem zarządzającym każdy czas potrzebny jest obsługa metadanych pliku:
& Nbsp; * tworzenie plików
& Nbsp; * usuwanie plików
& Nbsp; * czytania katalogi
& Nbsp; * Odczyt i zmiana atrybutów
& Nbsp; * zmiany rozmiarów plików
& Nbsp; * na początku odczytu lub zapisu danych
& Nbsp; * w każdym dostęp do specjalnych plików na MFSMETA
mfsmount wykorzystuje bezpośrednie połączenie do serwera danych (serwer chunk), który przechowuje odpowiedni fragment pliku. Podczas zapisywania pliku, po zakończeniu procesu zapisu serwer zarządzający otrzymuje informacje od mfsmount aktualizacji długości danego pliku i datę ostatniej modyfikacji.
Ponadto, serwer danych (serwery chunk) komunikują się ze sobą w celu replikacji danych w celu uzyskania odpowiedniej liczby kopii pliku na różnych maszynach.
& Nbsp;
Fault Tolerance
& Nbsp;
Polecenia administracyjne umożliwiają administratorowi określenie "cel", lub liczbę kopii, które powinny być utrzymywane na poziomie katalogu lub per-per-pliku. Ustawianie cel do więcej niż jednego i posiadające więcej niż jeden serwer danych zapewni odporność na uszkodzenia. Gdy plik danych przechowywany jest w wielu kopii (więcej niż jeden serwer danych), układ jest odporny na awarie lub czasowych przerw w sieci z pojedynczym serwerze danych.
To oczywiście nie odnosi się do plików z "bramki" wartość 1, w takim przypadku plik będzie istniał tylko na jednym serwerze danych, bez względu na to, jak wiele danych serwery są wdrażane w systemie.
Wyjątkowo ważne pliki mogą mieć ich celem ustawiony na wartość wyższą niż dwa, co pozwoli pliki te są odporne na załamania więcej niż jednego serwera na raz.
Ogólnie ustawienie liczby kopii dostępnych powinny być o jeden więcej niż przewidywana liczba serwerów niedostępnych lub out-of-order.
W przypadku, gdy jeden serwer danych doświadcza awarii lub odłączenia od sieci, pliki przechowywane w nim, że miał co najmniej w dwóch egzemplarzach, pozostanie dostępna z innego serwera danych. Dane, które jest obecnie "pod swoją bramkę" będą replikowane na innym dostępnym serwerze danych, aby ponownie zapewnić wymaganą liczbę kopii.
Należy zauważyć, że jeśli liczba dostępnych serwerów jest mniejsza niż "bramki", przewidzianego dla danego pliku, wymagana liczba kopii nie może być zachowana. Podobnie, jeśli istnieje taka sama liczba serwerów jak aktualnie ustawionego celu i jeśli serwer danych osiągnie 100% jego pojemności, nie będzie w stanie rozpocząć posiadać kopię pliku, który jest obecnie poniżej progu jej ze względu na inny cel serwer danych będzie niedostępny. W tych przypadkach nowy serwer danych powinien być podłączony do systemu, jak tylko możliwe, w celu utrzymania żądanej liczby kopii pliku.
Nowy serwer danych może być podłączony do układu w dowolnym momencie. Nowe moce natychmiast stają się dostępne do użycia do przechowywania nowych plików lub posiadania replikowane kopie plików z innych serwerów danych.
Istnieje narzędzi administracyjnych kwerendy status plików w systemie plików, aby sprawdzić, czy któryś z plików są obecnie poniżej ich cel (numer zestaw kopii). Narzędzie to może być również użyte do zmiany ustawienia cel zgodnie z wymaganiami.
Fragmenty danych przechowywanych w kawałki są wersjami, więc ponowne podłączenie serwera danych ze starszych kopii danych (takich, jak gdyby był przez jakiś czas), nie spowoduje plików stać się niespójne. Serwer danych zsynchronizuje się utrzymać obecne wersje kawałków, gdzie przestarzałe kawałki zostaną usunięte, a wolne miejsce zostaną przeniesione do przechowywania nowych kawałków.
Awarie komputera klienta (który uruchamia proces mfsmount) nie będzie miał wpływu na spójność systemu plików lub na działalność innego klienta. W najgorszym przypadku danych, które nie zostały jeszcze wysłane z komputera klienckiego nieudanej mogą zostać utracone.
& Nbsp;
PLATFORMY
& Nbsp; MooseFS jest dostępny na każdym systemie operacyjnym z realizacji FUSE pracy:
& Nbsp; * Linux (Linux 2.6.14 i się mają wsparcie BEZPIECZNIK włączone do oficjalnego jądra)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Główny serwer, serwer metalogger i chunkservers można również uruchomić w systemie Solaris lub Windows z Cygwin. Niestety bez FUSE to nie będzie możliwe zamontowanie systemu plików w ramach tych systemów operacyjnych

Co nowego w tym wydaniu:.

< li> Najważniejsze zmiany obejmują stałą sygnału obsługi w wielowątkowych modułów, Gol i trashtime limitów mfsexport.cfg i prostą kontrolę dla pobranych plików metadanych.

Co nowego w wersji 1.06.19:

• Istotne zmiany zostały wprowadzone do maszyny metalogger i metarestore narzędzie do lepszej integralności metadanych.
• pasek postępu skanowania w CS został dodany.
• Nazwa mistrzem jest rozwiązany, gdy połączenie nie powiedzie się.
• nowa sesja jest tworzona, gdy poprzedni jest stracone.
• Wiele innych poprawek i ulepszeń zostały wykonane.

Co nowego w wersji 1.06.17:

• W tym wydaniu wprowadzono automatyczne zarządzanie cache danych .
• wystarczy uaktualnić tylko serwer główny (bez zmian w fragmentach "lub serwerów klientów kod dokonano).
• Mechanizm pamięci podręcznej jądra zawsze istniały, ale do tej pory zawsze wyczyszczona pamięć podręczna po otwarciu pliku. Teraz MooseFS kontroluje, czy usunąć, czy nie, sprawdzając, czy plik był modyfikowane przez innego klienta. Spójrzmy na kilka scenariuszy.
• Pierwszy scenariusz:
• 1. Komputer odczytuje pliku X
• 2. Komputer B odczytuje pliku X
• 3. Komputer nie chce czytać pliku X - wychodzimy z pamięci podręcznej (plik nie został zmieniony),
• Drugi scenariusz:
• 1. Komputer odczytuje pliku X
• 2. Komputer zapisuje do pliku X
• 3. Komputer chce tor odczytu pliku X - opuszczamy cache (plik został zmieniony, ale komputer wie o tych zmianach),
• Trzeci scenariusz:
• 1. Komputer odczytuje pliku X
• 2. Komputer B zapisuje do pliku X
• 3. Komputer nie chce czytać pliku X - tutaj mamy zmusić wyczyścić pamięć podręczną (z powodu zmiany zostały dokonane przez komputerze B i Informatyki A nie wiemy o nich),
• W rzeczywistych warunkach, pierwszy i drugi scenariusze zdarzają się zdecydowanie częściej niż trzeciego scenariusza i dlatego rozsądnie jest zostawić zawartość pamięci podręcznej i zdobyć ogólną wydajność systemu.
• Oczywiście istnieją pewne średnie scenariusze (ale też istniało wcześniej) jak tego:
• 1. Komputer otwiera plik X i czyta go całkowicie (plik pozostaje w pamięci podręcznej),
• 2. Komputer B modyfikuje pliku X
• 3. Komputer ponownie odczytuje pliku X (ale bez zamykania lub ponownego otwarcia go - po prostu się na pozycji 0 i ponowne przeczytanie go)
• W tej sytuacji Komputery dostanie takie same dane jak w punkcie 1, ale samo stało się także w MooseFS wcześniej.
• nodatacache atrybut został również wprowadzony która zabrania buforować plik. Od wersji 6.01.17 się pliki z nodatacache atrybutu zachowują się jak pliki jak w starszych wersjach MooseFS. Flaga ta może być używana z narzędzi mfsseteattr, mfsdeleattr i mfsgeteattr.
• Ta flaga dodano zapobiegawczo i prawdopodobnie nie trzeba będzie z niego korzystać. Jeśli po pewnym czasie okazuje się, że to jest naprawdę bezużyteczny zostanie usunięty. Ale jeśli znajdziesz jakieś sprawę / scenariusz, który domaga wyłączenie automatycznego mechanizmu cache należy podzielić się z nami.