Synchronizacja katalogów z automatycznym wykrywaniem peer

10

Pracuję z klastrem serwerów Linux za funkcją automatycznego skalowania chmury Amazon ( dokumentacja ). Istnieją pliki, które gromadzą się na każdym serwerze, są to pliki pamięci podręcznej dla aplikacji. Szukam zautomatyzowanego sposobu, aby serwery synchronizowały ten folder między sobą.

  • Rsync działałby, gdyby ktoś miał sprytny sposób na wykrycie rówieśników.
  • To samo dotyczy Unison.
  • Rozważaliśmy również użycie SaaS, takiego jak Dropbox.
  • Gluster wydaje się przesadą i nie jestem pewien, jak łatwo jest automatycznie dołączyć nowy komputer do klastra.

Idealnie byłoby, gdyby nowy serwer został uruchomiony, odkrywa, że ​​jest równorzędny i zaczyna synchronizować folder. Od tego momentu najnowszy znacznik pliku wygrywa synchronizację P2P.

Coś tam, co to robi?

linux rsync cluster Caleb
źródło
Ten nie wykrywa elementów równorzędnych, ale może być interesujący niezależnie - mrsync.sourceforge.net .
Faheem Mitha

Odpowiedzi:

1

Wiesz, jak może to zabrzmieć dziwnie, ale używanie rtorrenta z włączonym DHT w prywatnym zakresie ec2 może działać

To by ci dało

  • Automatyczne wykrywanie peerów
  • Zweryfikowane stany plików (tak dla skrótów)
  • Minimalne wymagania konfiguracyjne (dodaj magnes (lub wirtualny ip dla najnowszego torrenta) dla torrenta w skrypcie startowym)
  • skalowalność
Taktyka
źródło
1

Rsync upstream zapewnia obsługę SLP (protokół lokalizacji usługi). Nie jest włączony w źródłach waniliowego rsync, ale wsparcie SLP można znaleźć w tarballu z łatkami rsync na stronie domowej rsync (slp.diff). Np. Pakiet rsync SUSE jest zbudowany z tą łatką; Nie wiem o innych dystrybucjach.

Nie jestem pewien, czy tego właśnie szukasz, ani nie mam doświadczenia z SLP.

Petr Uzel
źródło
0

Może czegoś mi brakuje, ale czy jest jakiś powód, dla którego nie instalujesz prostego katalogu NFS i instalujesz wszystkie maszyny? Za każdym razem, gdy aplikacja zapisuje nowy plik pamięci podręcznej, powinna po prostu zastąpić wszystkie stare.

opsguy
źródło
1
Cześć opsguy. Czego brakuje Ci, co się dzieje, gdy komputer z NFS zawiedzie? Próbujemy wyeliminować pojedynczy punkt awarii pamięci podręcznej.
0

Jestem prawie pewien, że istnieje jakieś narzędzie do zarządzania Amazon, takie jak Narzędzia wiersza poleceń , które pozwala napisać skrypt rozruchowy, aby węzły odkrywały się nawzajem za pośrednictwem prywatnych lub publicznych adresów IP.

Nawiasem mówiąc, rsync i Unison nie są odpowiednim narzędziem, jeśli muszą bardzo często rozpowszechniać zmiany w pamięci podręcznej. W takim przypadku powinieneś rozważyć naprawdę rozproszony system plików.

Marco Solieri
źródło
0

Może DRBD (rozproszone urządzenie blokowe)?

MSpike
źródło
1
Dzięki za odpowiedź, ale nie ma w niej treści. DRBD nie jest tak dobrze znany, że nie wymaga przynajmniej linku. Ale tak naprawdę powinieneś podać więcej informacji: dlaczego DRBD jest odpowiedni? Jak by to działało? Zwłaszcza biorąc pod uwagę, że Kevin pomyślał, że Gluster przesada: dlaczego DRBD nie miałoby być?
Gilles „SO - przestań być zły”,
Właśnie zdałem sobie sprawę, że szukasz automatycznego wykrywania równorzędnego, więc ten nie jest odpowiedni dla ciebie. DRBD jest urządzeniem blokowym na twoim prawdziwym sprzęcie lub na szczycie woluminu, a następnie synchronizuje je przez sieć.
MSpike,