Linux na Linux, transfer 10 TB?

9

Patrzyłem na wszystkie poprzednie podobne pytania, ale odpowiedzi zdawały się być wszędzie i nikt nie przenosił dużo danych (100 GB różni się od 10 TB).

Mam około 10 TB, które muszę przenieść z jednej macierzy RAID do drugiej, gigabit Ethernet, darmowa encyklopedia, systemy plików XFS . Moim największym zmartwieniem jest to, że umiera transfer w połowie drogi i nie mogę łatwo wznowić. Szybkość byłaby dobra, ale zapewnienie transferu jest znacznie ważniejsze.

Zwykle po prostu używam tar & netcat, ale macierz RAID, z której się przeprowadzam, jest ostatnio bardzo niestabilna i muszę odzyskać i wznowić, jeśli spadnie w połowie procesu. Czy powinienem patrzeć na rsync ?

Przyglądając się temu nieco bardziej, myślę, że rsync może być zbyt wolny i chciałbym uniknąć tego zajmowania 30 dni lub dłużej. Teraz szukam sugestii, jak monitorować / wznawiać przesyłanie za pomocą netcat .

linux networking rsync file-transfer copy lostincode
źródło
Czasami muszę wykonywać duże transfery plików (ale nie 10 TB;) rsync ma wiele flag, niektóre z nich mogą mieć wpływ na wydajność przesyłania dużych plików (myślę, że na przykład --checksum i --archive mogą cię spowolnić. zrobiłoby to dużą różnicę przy przesyłaniu 10 TB.). Czy ktoś może polecić dobre opcje, które pomogą zoptymalizować wydajność tak dużego transferu plików? Czy tuning --block-size=SIZEpomógłby?
Stefan Lasiewski
czy jest jakiś sposób na usunięcie narzutu ssh?
lostincode
1
skonfigurować rsyncd po stronie odbierającej? nie ma potrzeby ssh
cpbills
3
Uruchom demona rsync po stronie odbierającej, a także klienta po stronie wysyłającej.
Wstrzymano do odwołania.
2
Jeśli nie możesz skonfigurować demona rsync z jednej strony i utkniesz w SSH, możesz zmniejszyć obciążenie szyfrowaniem za pomocą mniej dobrego szyfrowania, takiego jak: rsync -avz -e 'ssh -c arcfour' SOURCE DEST
David

Odpowiedzi:

14

tak, rsync

poza nieparzystym ostatnio pojawiły się funkcje asynchroniczne DRBD.

kagenut
źródło
1
+1 dla Rsync. Król transferów system-system w systemie Linux.
grufftech,
+1, rsync (i jego odpowiednik Windows DeltaCopy) to koniec wydajnego powielania plików między serwerami.
Chris S
1
+1 dla rsync, ale dodam, że może być szybsze, aby zrobić to „lokalnie” na podstawie montowania NFS zamiast ponosić koszty związane z rsync lub SSH.
James Sneeringer,
2

Nigdy nie lekceważ przepustowości wozu kombi pełnego taśm. 10 TB byłoby wykonalne przy stosunkowo niedrogim sprzęcie NAS klasy konsumenckiej, gdyby można go podzielić na (powiedzmy 2 TB) porcje. Jeśli jest to jednorazowe działanie, wówczas proces półautomatyczny może być wykonalny, a NAS o pojemności 2 TB kosztuje zaledwie kilkaset dolarów.

Jeśli potrzebujesz ciągłego procesu, możesz skonfigurować RSYNC po wykonaniu początkowego transferu.

ConcernedOfTunbridgeWells
źródło
W pierwotnym pytaniu wspomniano, że jest to już sieć lokalna.
Ladadadada,
1
Który wydaje się być zbyt wolny i / lub zawodny dla celów PO.
ConcernedOfTunbridgeWells
2

Kilka miesięcy temu musiałem wykonać tego rodzaju zadanie. Użyłem równoległego rsync, aby przyspieszyć proces. Dzieli pliki, które mają zostać przesłane / zsynchronizowane na części, i można je wznowić w dowolnym momencie. Zobacz poniższy link do równoległego skryptu rsync.

https://gist.github.com/rcoup/5358786

Pierre Bergdolt
źródło
0

Możesz spróbować skonfigurować serwer FTP na serwerze z danymi do skopiowania i użyć klienta FTP z „wznowieniem” po stronie odbierającej. Używam serwera i klienta Filezilla i dość często korzystam z funkcji „wznawiania” klienta, która zawsze działała bez żadnych problemów.

jamesbtate
źródło