Mam dwa serwery, umieszczone w centrach danych w Holandii i Francji. Oba działają w systemie Debian Wheezy. Muszę dzielić / home między nimi, z dobrą wydajnością. Na serwerach jest 300 użytkowników, około 30 z nich powinno mieć możliwość prowadzenia aktywnych procesów na danym serwerze w danym momencie, każdy z odczytami 50 kbit i zapisami 20 kbit / sekundę, z krótkimi szczytami około 2000 kbit / s czytanie. środki z iotopem na lokalnym składowaniu. Mam dużo małych plików, w sumie około 500000 i potrzebuję jak najmniejszego opóźnienia. Ping między serwerami wynosi 17 ms, a połączenie może osiągnąć około 20-30 MB / s przy użyciu scp i wget. Wygląda na to, że powinna być dostępna wystarczająca przepustowość, ale też ...
Do tej pory sprawdziłem: sshfs: Wydawało się, że ma lepszą wydajność niż nfs, ale losowo zmienił uprawnienia do rootowania plików, powodując awarię aplikacji.
nfs: sposób na spowolnienie, próbowałem noatime i kilka innych opcji, ale nadal działa on powolnie, nawet gdy aktywnych jest tylko kilka procesów.
drbd: 5 godzin pracy w ślepym zaułku, kiedy zdałem sobie sprawę, że nie mogę zamontować systemu plików na obu systemach :-(
glusterfs: Lokalna kopia wszystkich danych naprawdę brzmiała obiecująco, ale losowy dostęp do plików jest naprawdę powolny, a po pewnym czasie staje się niewiarygodnie wolny i prawie się zawiesza. noatime nie pomaga.
Znowu nfs: Wciąż powolny.
Płacz na klawiaturze: W ogóle nie ma poprawy.
Co dalej? Każda z nieudanych prób zajęła wieczór, a może więcej w ciągu ostatniego tygodnia, i naprawdę chciałbym, aby następna metoda zadziałała. I tak, bardzo ważne jest, aby systemy plików były współużytkowane przez oba serwery.
Dziękujemy za wszelkie nowe pomysły dotyczące tego problemu.
źródło
Odpowiedzi:
Istnieje kilka możliwych rozwiązań:
Możesz wybrać replikowaną pamięć blokową, taką jak DRBD (lub MARS, jak wspomniano powyżej), ale musisz ustawić klastrowy system plików na pamięci blokowej. Takimi systemami plików mogą być GFS2 lub OCFS2, które są dostępne w jądrze Debiana afaik. DRBD może obsługiwać podstawowy / pierwotny i można go zamontować na obu serwerach jednocześnie. Ale jeśli zrobisz to ze standardowym systemem plików, jeden serwer nie będzie wiedział o drugim i zniszczyłbyś swój system plików w ciągu kilku sekund. System plików klastra na górze obsługiwałby komunikację i blokowanie, aby oba węzły mogły zapisywać w tym samym bloku.
Użyj rozproszonego systemu plików dla / home. Listę takich systemów plików można znaleźć na stronie http://en.wikipedia.org/wiki/Comparison_of_distribution_file_systems . Ale uważaj i wybieraj mądrze. Wszyscy nie potrafią magii i wszystkie mają swoje wady. Gluster jest takim systemem plików. W przypadku niektórych systemów może być potrzebne więcej niż tylko dwa węzły.
Jeśli nie trzeba go replikować w czasie rzeczywistym i wystarczy synchronizacja plików prawie w czasie rzeczywistym, to spójrz na BitTorrent Sync ( http://www.getsync.com/ ), Dropbox lub alternatywy. Każdy serwer ma swój własny / home, ale zmiany są replikowane na podstawie plików na innym serwerze.
źródło