najlepsze narzędzie linux do przesyłania tysięcy plików między dwoma serwerami [zamknięte]

Jeśli uważasz, że to duplikat ... cóż, nie znalazłem jeszcze satysfakcjonującej odpowiedzi: /

Muszę przeprowadzić migrację folderu z serwera na inny. Osobiście użyłbym rsync, ale pytanie brzmi ... ten folder zawiera zarówno duże pliki (> 5 GB), jak i wiele małych plików (ponad 1 KB <30 KB).

Chciałbym uniknąć wąskiego gardła spowodowanego przesyłaniem wielu małych plików.

Czy rsync jest odpowiednim narzędziem do tego, czy istnieją lepsze rozwiązania?

SCP działa jeszcze wolniej, na wypadek, gdyby ktoś to zasugerował.

linux rsync webserver scp migration Wyatt Gillette
źródło

Szukasz odpowiedzi opartej na opiniach, której nie uzyskasz na tej stronie. Zamiast tego wypróbuj Zalecenia dotyczące oprogramowania , ale musisz jasno określić, co rozumiesz przez najlepszy : najszybszy, najbezpieczniejszy, najniższy narzut, najłatwiejszy w użyciu lub inne kryteria? Dla mnie, jeśli serwery są blisko geograficznie, użyłbym zewnętrznego dysku do tak dużego transferu.

AFH

Dziękuję za komentarz. Nie pytam o odpowiedź opartą na opiniach, powinienem sprecyzować, że szukam najszybszego rozwiązania. Niestety, ruchów fizycznych nie można zastosować z powodu wielu czynników (głównie burokratów). Kiedyś klonowałem maszynę bezpośrednio, ale w tym przypadku byłoby to stratą czasu i przestrzeni.

Wyatt Gillette

@WyattGillette Wciąż szukasz rekomendacji oprogramowania, a tutaj, w Superuser, pytania, które wydają się rekomendacjami oprogramowania (co potwierdziłeś dwa razy, nie ma zastosowania).

Ramhound

Pytasz o rekomendację produktu ( narzędzie linux ) i jasno oparte na opiniach ( najlepsze narzędzie linux), co jest wyraźnie wskazane jako nie na temat w wytycznych centrum pomocy .

Ken White

Odpowiedzi:

Jeśli jest to jednorazowy transfer, rsync NIE jest narzędziem do zadania.

Sposób, w jaki bym to zrobił, polegałby na tarowaniu plików (i opcjonalnie kompresji, w zależności od charakterystyki serwerów i połączenia między nimi), a następnie przesyłaniu tego przez SSH na nowy serwer i dekompresji. Można to zrobić za pomocą 1 polecenia. Będziesz musiał go zmieniać w zależności od specyfiki, ale będzie wyglądać mniej więcej tak:

tar -cz /startdir | pv | ssh user@ip "cd /destpath; tar -xf"

Spowoduje to skompresowanie plików do pojedynczego strumienia, więc nie będzie dużo tam iz powrotem dla każdego pliku, co zapewnia maksymalną prędkość. Wykonuje również kompresję, wysyłkę i dekompresję w jednym kroku, dzięki czemu zminimalizuje całkowity czas.

Aby rozbić, jak to działa:

tar kompresuje / dekompresuje pliki do strumienia na standardowym wyjściu (ponieważ nie podano nazwy pliku). -c oznacza tworzenie, a z oznacza kompresję. Możesz pominąć z, jeśli kompresja nie jest pożądana.

Bit pv nie jest potrzebny, ale zapewnia informację zwrotną o tym, że dane są przesyłane oraz o szybkości przesyłania skompresowanych danych. Polecenie ssh oczywiście tworzy połączenie ze stroną zdalną i podaje do niego dane wyjściowe poprzednich poleceń. Następnie przeskakuje do odpowiedniego katalogu i dekompresuje go.

Davidgo
źródło

Lubię to! Nie czeka to na zakończenie komendy tar, ale przesyła ją w sposób ciągły do zdalnego hosta. Czy to prawda?

paradokson

Tak. Zgadza się.

davidgo

to jest doskonałe i właśnie tego potrzebowałem, dziękuję!

Wyatt Gillette

-1

Użyj find ... -sizedo tarplików o danym rozmiarze do jednego dużego, a następnie użyj rsync .... --min-sizedo przesłania tylko plików powyżej określonego rozmiaru.

ksenoid
źródło