Rozproszone, zdecentralizowane udostępnianie danych i tworzenie kopii zapasowych

5

Rozważ następujący scenariusz: masz zespół kilku osób rozsianych po całym świecie, który musi pracować na tych samych danych. Każdy członek zespołu ma kopię potrzebnych mu danych. Gdy ktoś wprowadza zmiany w niektórych danych, musi zsynchronizować te dane z innymi członkami, którzy pracują na tych samych danych. Ponadto niektóre dane, które posiadają członkowie zespołu, są „prywatne”, w tym sensie, że są użyteczne tylko dla jednego członka (a zatem jest tylko jedna jego kopia), ale mogą być przydatne dla innych członków w przyszłości, a zatem przydałaby się kopia zapasowa.

Biorąc pod uwagę tę sytuację, szukam sposobu na zdecentralizowany udział (tj. Jakiś dysk pamięci, lokalny lub przez sieć), do którego wszyscy użytkownicy posiadający prawa dostępu mogą czytać / zapisywać. (Na razie mówimy o 3-4 użytkownikach, ale może wzrosnąć w najbliższej przyszłości)

Część „zdecentralizowana” oznacza, że ​​nie mamy serwera, który mógłby obsługiwać tradycyjny udział, więc musi działać bezpośrednio na naszych komputerach (i często są one wyłączone). Oznacza to, że każdy udział lokalny powinien być w stanie działać, nawet jeśli w tym czasie nie jest dostępny żaden inny węzeł.

Potrzebujemy tego z wielu powodów, ale głównie dlatego, że:

  1. mamy wiele danych, nad którymi codziennie pracujemy (odczytywanie / modyfikowanie / zapisywanie) i chcielibyśmy je zsynchronizować
  2. mamy dużo danych (zarówno współdzielonych przez wielu użytkowników, jak i prywatnych), z których chcielibyśmy mieć kopię zapasową, być może zdalnie
  3. nie mamy połączeń wystarczająco szybkich, aby po prostu wyciągnąć / wypchnąć wszystko z / do serwera lub innego węzła za każdym razem, gdy potrzebujemy / modyfikujemy (przezroczyste buforowanie lokalne, kompresja różnicowa)

Większość z nas pracuje na komputerach z systemem Windows, więc preferowane byłoby rozwiązanie kompatybilne z Windows. Jakieś pomysły?

CAFxX
źródło
Poprawiono i wyjaśniono kilka punktów
CAFxX,
Właśnie z ciekawości, ponieważ twoje wyzwanie jest interesujące: jakie dane i o co chodzi?
Torben Gundtofte-Bruun,
Pracujemy głównie przy tworzeniu stron internetowych i projektach multimedialnych. Zdecydowana większość danych składa się z filmów, zdjęć i plików projektów (np. AI / PSD / AEP / PRPROJ).
CAFxX,

Odpowiedzi:

2

Cóż za świetne pytanie! Temat ten może być mylący, ponieważ istnieje tak wiele różnych technologii i opcji. Jak zauważyłeś, tak wiele z nich nie spełnia Twoich szczególnych wymagań.

Lokalna pamięć rozproszona - ciągła synchronizacja plików

Jak rozumiem twoje potrzeby, po kilka osób pracuje na własnym lokalnym dysku twardym zawierającym TB danych . Ale chcesz, żeby działał TAK, JAKI jest tylko jeden dysk twardy, który jest zawsze taki sam dla wszystkich i jest lokalny . Jeśli jedna osoba doda lub zmieni plik, wszyscy użytkownicy mają ten nowy plik lub zmieniają (prawie) natychmiast na lokalnych dyskach twardych.

Oprogramowanie ViceVersa - 49,95 USD

Wierzę, że oprogramowanie ViceVersa od TGRMN Software zrobi to za Ciebie: http://www.tgrmn.com/web/file_synchronization.htm Przy 59,95 USD za użytkownika (49,95 USD za 2–5 użytkowników) to z pewnością jest przystępne. Jest ograniczony do MS Windows. (Nie interesuję się finansowo TGRMN, ale bardzo interesuje mnie synchronizacja i tworzenie kopii zapasowych przez Internet).

Jest naprawdę zdecentralizowany. Skonfigurowałeś swoją sieć WAN, prawdopodobnie VPN. (Ale zobacz prostszą opcję z PogoPlug, poniżej.) Na każdym komputerze konfigurujesz katalogi, które chcesz synchronizować dwukierunkowo. Uważam, że chcesz go skonfigurować tak, aby najnowszy plik nadpisał jego starsze, niezmienione odpowiedniki. ViceVersa jest na tyle inteligentna, że ​​jeśli plik zmienia się zarówno w źródle, jak i w celu, konflikt można ręcznie rozwiązać.

Konflikty plików z synchronizacją

Konflikty plików są potencjalnie dużym problemem w zdecentralizowanym, zsynchronizowanym świecie. Musisz dokonać mądrych wyborów dotyczących sposobu usuwania . Jeśli usuwasz plik, czy chcesz go usunąć ze wszystkich innych komputerów? Jeśli ktoś inny pracował nad dokumentem i usuniesz go, zanim zapisze go na dysku, co chcesz zrobić? Wierzę, że ViceVersa daje ci wszystkie opcje, ale musisz zrozumieć ich działanie i mądrze wybrać.

Jestem ciekawa tej sytuacji. Załóżmy, że masz folder Dokumenty na każdym z trzech komputerów w sieci WAN: A, B i C. Masz ciągłą dwukierunkową synchronizację między Dokumentami na A i Dokumentami na B. Ta sama synchronizacja jest skonfigurowana między B i C. To samo dotyczy C i A.

Teraz dodajesz plik do Dokumentów na A. Powiedzmy, że najpierw synchronizuje się z B, a nieco później, z powodu wolniejszego połączenia, z C. Więc teraz B próbuje zsynchronizować plik z C, ale powiedzmy, że C już go ma i jest o zsynchronizowaniu go z B. Naprawdę ważne jest, aby B i C rozpoznały, że każdy ma ten sam plik i NIE muszą go synchronizować.

Możesz uniknąć potencjalnych problemów wynikających z tych połączeń trójstronnych, używając PogoPlug lub innego urządzenia jako koncentratora.

Używanie ViceVersa z PogoPlug lub NAS jako hubem

Oto opcja, która może być interesująca, jeśli chcesz uniknąć złożoności konfiguracji VPN i synchronizacji między każdą parą komputerów. Możesz sprawić, aby duży dysk USB, a nawet wiele dysków USB podłączonych do PogoPlug pojawiało się jako litery dysków na wszystkich twoich komputerach. (Amazon ma dobrą cenę, około 80 USD, na PogoPlug.)

Zobacz: www.pogoplug.com

Skonfiguruj ViceVersa na każdym komputerze, aby synchronizował się z dyskiem P:, dyskiem USB w PogoPlug. Napęd działa tylko jako pośrednik. Możesz zrobić to samo z urządzeniem NAS, ale PogoPlug jest niezwykle prosty w konfiguracji i połączeniu. Każdy z użytkowników może hostować PogoPlug, podłączając go do portu w modemie kablowym lub przełączniku. Aby pogoPlug był dostępny, nie musisz mieć uruchomionego komputera. Nie łączy się z komputerem, ale bezpośrednio z Internetem.

Aspera ma dobry obraz pokazujący tę konfigurację, ale zamiast dużego serwera w środku wyobraź sobie PogoPlug za 79 USD i wiele dysków USB TB w centrum:

www.asperastaging.info/images/connect_deployment_thb.png

Potencjalne alternatywy

Natknąłem się na kilka potencjalnych alternatyw, ale żadna z nich nie była tak obiecująca, prosta ani tak przystępna cenowo jak ViceVersa i PogoPlug.

FileReplicationPro Straszna strona internetowa, przynajmniej w FireFox 495,00 $

www.filereplicationpro.com/_cart/products.cfm

Aspera

www.asperastaging.info/en/products/client_software_2/aspera_connect_8

Oprogramowanie równorzędne

www.peersoftware.com/purchase/registration.aspx

Nawiasem mówiąc, jest to mój pierwszy post na Super User. Mam nadzieję, że inni uznają to za przydatne i warte głosowania, pomimo jego długości!

Studnie
źródło
0

Do tego używam urządzenia NAS.

NAS

Najlepszym (i najdroższym) wydaje się być Synology lub QNAP, ale jest wielu dostawców. Istnieją urządzenia NAS w szerokim zakresie cen i pojemności. Wiele z nich obsługuje wiele dysków z co najmniej RAID-0 lub RAID-1 i może tworzyć kopie zapasowe na innych serwerach NAS lub serwerach plików.

Osobiście wolę serwer NAS, który działa bez potrzeby instalowania specjalnego oprogramowania klienckiego na komputerze i który obsługuje klientów Windows, MAC i Linux.

W przypadku kilku komputerów warto rozważyć coś takiego jak Synology DS210J, ale nie jest to rekomendacja produktu - istnieje wiele dobrych marek i wiele dobrych produktów.

Chmura

Inną możliwością jest wypożyczenie internetowej pamięci masowej w chmurze. Np. Amazon S3, Google Storage, Mozy, DriveHQ, I2drive ...

Lokalna pamięć rozproszona

Może istnieć rozproszony system plików, który utrzymuje stałą dostępność danych na sporadycznie aktywnych komputerach, ale podejrzewam, że konfiguracja będzie trudniejsza niż NAS.


Surfnet ma ciekawy przegląd

BitTorrent

Zobacz Wikipedię na BitTorrent i ten artykuł na temat udostępniania dużych plików znajomym (prywatnie).

RedGrittyBrick
źródło
Nie możemy korzystać z NAS, ponieważ nie jesteśmy w tej samej sieci LAN i jak powiedziałem w pytaniu, że nie mamy tak szybkich połączeń między nami. Nie możemy korzystać z usług opartych na chmurze, ponieważ mówimy o TB danych, co byłoby niezwykle kosztowne. Lokalna pamięć rozproszona to droga (nie wspomniałem o niej z nazwy w pytaniu, ale o tym właśnie mówiłem).
CAFxX,
Zobacz edycję powyżej BitTorrent
RedGrittyBrick
BitTorrent nie jest odpowiedni, ponieważ musimy pracować (tj. Czytać / modyfikować / zapisywać) dane, a zmiany muszą być jak najszybciej replikowane dla wszystkich: ręczny proces konfigurowania torrenta dla każdego pliku, który mamy modyfikacja nie jest możliwa. Przegląd, który podłączyłeś na temat rozproszonych systemów pamięci masowej, może się przydać, ale obawiam się, że sprawdziłem już wszystkie strony w Wikipedii i wszystkie mają pewne wady, które sprawiają, że nie są odpowiednie: w większości przypadków jest to obecność centralnego serwera (lub innego SPF ), tzn. są rozproszone, ale nie zdecentralizowane.
CAFxX,
0

Najłatwiejszym sposobem na to byłoby skorzystanie z Dropbox . Automatycznie synchronizuje foldery współdzielone i tworzy kopie zapasowe.

dStulle
źródło
Niestety nie jest to możliwe, ponieważ (jak skomentowałem poprzednią odpowiedź RedGrittyBrick) mówimy o gruźlicach. Byłoby to 200 $ / miesiąc / TB (pod warunkiem, że faktycznie można uzyskać taki plan, maksymalna wydaje się wynosić 0,1 TB)
CAFxX