Mirror z kopią zapasową zmienionych plików

1

mamy duże wymagania dotyczące przechowywania (dane genomiczne), dla których musimy kupić trochę przestrzeni archiwalnej (pisz raz, czytaj rzadko, pliki pozostają łatwo dostępne, każdy użytkownik powinien mieć dostęp do własnego folderu „archiwum”). „Łatwym” i stosunkowo tanim rozwiązaniem jest uzyskanie dużego serwera NAS, który zmieściłby sześćdziesiąt dysków 6 TB = 360 TB surowego miejsca. (np. dnuk, 45drives ...)

Ale co, jeśli dojdzie do pożaru / powodzi / kradzieży? Proste rozwiązanie: zdobądź drugi z nich, ustaw go w innym budynku / kampusie i zapewnij szybkie połączenie w celu codziennego tworzenia kopii lustrzanych między master a slave. W tym celu istnieje łatwe oprogramowanie.

To chroni przed katastrofą. Ale to nie chroni przed naiwnymi użytkownikami, którzy przypadkowo usuwają swoje pliki i chcą je odzyskać miesiąc później.

Czy istnieje łatwe oprogramowanie, które wykrywa zmiany lub usuwanie plików i przenosi / kopiuje stare pliki w inne miejsce? (idealnie byłoby to możliwe na „slave”; moglibyśmy za to kupić dodatkowe urządzenie NAS).

Jakieś pomysły? Dzięki! Yannick

Yannick Wurm
źródło
Używamy przyrostowych kopii zapasowych rsync z linkami do tego, ale nie monitoruje ani nie wykrywa zmian, po prostu działa zgodnie z harmonogramem. System Windows ma „Poprzednie wersje” za pośrednictwem kopii w tle folderów udostępnionych.
ssnobody
Hmm - dziękuję @ nikt nie wydaje się istotny . Czy korzystałeś z przyrostowych kopii zapasowych rsync z podejściem linków do danych, w tym niektórych plików w skali TB i np. 50 milionów małych plików?
Yannick Wurm
Nie próbowałem tego osobiście na taką skalę, używamy go na kilku serwerach plików i serwerze internetowym, gdzie maksymalna pojemność wynosi ~ 6 TB, a pliki większe niż 4 GB są rzadkie. Nie sądzę jednak, że będzie miał problemy z kopiowaniem, twarde linki są wbudowane w system operacyjny, a jeśli twój system już obsługuje pliki o rozmiarze TB, nie sądzę, że spowodowałoby to dodatkowe problemy.
ssnobody

Odpowiedzi:

1

Jeśli korzystasz z systemu Windows, Bvckup 2 jest dokładnie tym, czego potrzebujesz.

Przyrostowe propagowanie zmodyfikowanych plików nie jest dużym problemem. Może to zrobić dowolne oprogramowanie do tworzenia kopii zapasowych / synchronizacji. Sztuką jest obsługa wykrywania zmiany nazwy. Można to zrobić na dwa sposoby - po pierwsze parsuje dziennik systemu plików (na przykład w systemie plików NTFS), aby zobaczyć rzeczywiste zmiany, po drugie skanuje obie lokalizacje, a następnie przeprowadza analizę porównawczą, aby sprawdzić, czy którykolwiek usunięte pliki pasują do któregokolwiek z nowo utworzonych. Nie znam żadnego oprogramowania do tworzenia kopii zapasowych, które działałoby z czasopismami, więc pierwsza opcja tak naprawdę nie jest opcją. W przypadku drugiej opcji musisz mieć oprogramowanie, które generuje plany tworzenia kopii zapasowych, tzn. Najpierw skanuje drzewa, a następnie je analizuje, a następnie wyrzuca listę kroków do wykonania (zamiast uzgadniać zmiany natychmiast na etapie skanowania, ponieważrobocopy /mirrobi to na przykład). Problemem jest tutaj rozmiar kopii zapasowej. Bardzo niewiele aplikacji do tworzenia kopii zapasowych nie zadławi się kilkoma milionami plików, nie mówiąc już o 50 milionach plików. Z powodzeniem korzystałem z powyższej aplikacji z kopią zapasową o wartości 6 mil i podejrzewam, że powinna ona również być w stanie przejrzeć twoją sprawę.

Angstrom
źródło
dzięki @angstrom - niestety nie na Windowsie ... wszystkie nasze rzeczy są na serwerach Linux
Yannick Wurm