DedupeCopy

DedupeCopy jest prosty wielowątkowy plików Narzędzie Kopia przeznaczona do konsolidacji i restrukturyzacji rozwalony systemy plików.
Najczęstszym przypadkiem użycia jest do tworzenia kopii zapasowych danych do nowego układu, pomijając duplikatów plików.
Inne zastosowania obejmują:
& Nbsp; 1. Pobieranie pliku .csv opisującą wszystkie duplikatów plików
& Nbsp; 2. Porównanie różnych systemów plików
& Nbsp; 3. Restrukturyzacja istniejących zestawów plików w różnych układach (takie jak automatyczne przedłużenie lub ostatniej modyfikacji)
To narzędzie jest * nie * wymiana Robocopy lub rsync i nie starają się wypełnić rolę tej grze.
Podobnie jak w przypadku kodu, który idzie na drzewo plików, skorzystaj z ostrożnością i oczekiwać żadnego gwarancji!
Przykłady poleceń:
& Nbsp; Generowanie pliku dla duplikatu raport ścieżki:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Użytkownicy / -r dupes.csv -m manifeście
& Nbsp; Skopiuj wszystkie pliki * .jpg z wielu ścieżek do struktury /YYYY_MM/*.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: fotki -p D: fotki -e jpg -R jpg: dostepu -c X: fotki
& Nbsp; Skopiuj wszystkie pliki z dwóch dysków do jednego celu, zachowując ścieżkę
& Nbsp; wszystkie rozszerzenia:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p C: -p D: -c X: -m X: manifest -R *: no_change
& Nbsp; Wznowić przerwany bieg (zakładając "-m manifest" użyte w wcześniejszym okresie):
& Nbsp; & nbsp; & nbsp; dedupe_copy.py -p / Użytkownicy / -r dupes_2.csv -i manifest -m manifeście
Kolejno skopiować różnych źródeł w tym samym celu, a nie kopiowanie duplikatów plików (2 źródeł docelowych) i 1:
& Nbsp; & nbsp; & nbsp; 1.) Pierwsza płyta ukazuje dla wszystkich urządzeń
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ docelowa udział -m target_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source1 udział -m source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source2 udział -m source2_manifest
& Nbsp; & nbsp; & nbsp; 2.) Skopiuj każdego źródła do celu (określenie --compare więc manifesty od
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; inne źródła są, ale nie są używane jako część zestawu do kopiowania i
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --no-walk, aby przejść ponowne skanowanie źródła):
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source1 -c docelowy udział \ udział -i source1_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source2_manifest --compare target_manifest & nbsp; --no-walk
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; dedupe_copy.py -p \ Source2 -c docelowy udział \ udział -i source2_manifest
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; --compare source1_manifest --compare target_manifest --no-walk
Kompletny przykład:
& Nbsp; & nbsp; & nbsp;
& Nbsp; & nbsp; & nbsp; Zakładając, że zaczynasz z zestawem plików określonymi w następujący sposób:
& Nbsp; & nbsp; & nbsp; C:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotki
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; some_photos
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; D:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; fotki
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; copied_photo
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
& Nbsp; & nbsp; & nbsp; I uruchomić polecenie:
& Nbsp; & nbsp; & nbsp; > Dedupe_copy.py -p C: fotki -p D: fotki -e jpg -R jpg: dostepu -c X: Zdjęcia
Można by skończyć z poniższych (photo3.jpg był prawdziwy duplikat):
& Nbsp; & nbsp; & nbsp; X:
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; Zdjęcia
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_08
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo1.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo2.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo3.jpg
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; 2012_09
& Nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; & nbsp; photo4.jpg
Ten projekt jest na bitbucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python