Przesyłanie wielu dużych plików na zdalny serwer

1

Jestem w trakcie tworzenia kopii zapasowej poza siedzibą firmy i muszę wykonać wstępne ładowanie danych. Obecnie jest to około 400 Gb, dawaj lub bierz 10 Gb lub więcej ... System tworzenia kopii zapasowych tworzy pliki o rozmiarze około 4 Gb każdy, a także inne, mniejsze pliki powiązane. Więc muszę przenieść wszystkie 400 koncertów na zdalny serwer, ale jak? Jaka jest najlepsza metoda?

Mam pełny zdalny dostęp do serwera, więc mogę zainstalować wszystko, co muszę zainstalować. Na samym komputerze znajdują się Windows, Linux i VM Solaris, więc każdy z nich może być tam używany, a ja mam Windows i Linux w domu. Mam 2 połączenia internetowe w domu, ładowanie 10Mb / s na każde, więc coś, co mogłoby potencjalnie rozdzielić liczbę połączeń byłoby przydatne (coś w rodzaju GetRight, ale w odwrotnej kolejności ... PutRight?).

[Aktualizacja] Próbowałem skorzystać z poniższej opcji korzystania z RSync, ale jest tylko jedno połączenie między moją stacją roboczą a serwerem. Przesyłając duże pliki do Amazon, istnieje możliwość rozbicia ich lokalnie i rozbicia ich na końcu serwera. wiele plików jest również wysyłanych przez wiele połączeń. Tak więc plik 4 Gb można podzielić na 800 kawałków o wielkości 5 MB i wysłać 4 lub 8 na raz, używając możliwie największej przepustowości przesyłania. Jak to zrobić automatycznie? Mogę zhakować coś razem, aby to zrobić i użyć SFTP do wysłania plików, ale czy istnieje opcja automagiczna?

TiernanO
źródło

Odpowiedzi:

3

rsync działa najlepiej, najprawdopodobniej.

rsync -avzP /source user@host:/destination

Powyższa składnia może być użyta do skopiowania plików przez ssh i pozwoli ci wznowić transfer, w którym został przerwany w przypadku rozłączenia. The -v i -P oba są opcjonalne, ale wysoce zalecane w twoim przypadku.

-v nakazuje rsync wydrukować bieżący plik na ekranie.

-z nakazuje rsync skompresować dane. Może to znacznie zwiększyć szybkość przesyłania przez połączenia WAN.

-P nakazuje rsync zrobić dwie rzeczy: Najpierw podaj procentowy postęp na ekranie, taki sam jak --progress. Po drugie, pozostawi częściowo przeniesione pliki na serwerze, więc jeśli jest rozłączenie, pozostawia ten częściowy plik na serwerze, abyś mógł go wznowić. To tak samo jak --partial

Ponieważ ma to być kopia zapasowa poza siedzibą firmy, istnieje wiele opcji, które można wrzucić do rsync, aby była bardzo niezawodna. Możesz bardzo łatwo przekształcić go w przyrostową kopię zapasową, jeśli chcesz.

Podczas drugiego transferu, jeśli którekolwiek z danych uległo zmianie, rsync po prostu skopiuje najnowsze zmiany, pozostawiając resztę samą.

UtahJarhead
źródło
dzięki za informację. Będę używał tego tylko do jednego uruchomienia, więc nie są potrzebne przyrostowe kopie zapasowe ... Oprogramowanie do tworzenia kopii zapasowych pozwala mi na jednokrotne utworzenie kopii zapasowej w folderze, pobranie zawartości folderu i przeniesienie go gdzieś indziej (zwykle wykonywane na kluczu USB lub HDD) i kontynuuj tam tworzenie kopii zapasowych ... Jeszcze raz dziękuję. zajrzę do tego!
TiernanO
Niektóre dodatkowe argumenty, którymi będziesz zainteresowany (nie jest to konieczne, ale mogą ci ułatwić): --delete --inplace --link-dest (dość zaawansowany)
UtahJarhead
1
Ponieważ jest to jednorazowy, użyj składni dokładnie tak, jak jest w odpowiedzi, a będziesz złoty, zakładając, że oba końce mają do dyspozycji ssh!
UtahJarhead
tak, oba serwery są kontrolowane przeze mnie, a SSH jest dostępny zdalnie.
TiernanO
Dalej, sir! Powodzenia!
UtahJarhead