Przesyłanie wielu dużych plików na zdalny serwer

Jestem w trakcie tworzenia kopii zapasowej poza siedzibą firmy i muszę wykonać wstępne ładowanie danych. Obecnie jest to około 400 Gb, dawaj lub bierz 10 Gb lub więcej ... System tworzenia kopii zapasowych tworzy pliki o rozmiarze około 4 Gb każdy, a także inne, mniejsze pliki powiązane. Więc muszę przenieść wszystkie 400 koncertów na zdalny serwer, ale jak? Jaka jest najlepsza metoda?

Mam pełny zdalny dostęp do serwera, więc mogę zainstalować wszystko, co muszę zainstalować. Na samym komputerze znajdują się Windows, Linux i VM Solaris, więc każdy z nich może być tam używany, a ja mam Windows i Linux w domu. Mam 2 połączenia internetowe w domu, ładowanie 10Mb / s na każde, więc coś, co mogłoby potencjalnie rozdzielić liczbę połączeń byłoby przydatne (coś w rodzaju GetRight, ale w odwrotnej kolejności ... PutRight?).

[Aktualizacja] Próbowałem skorzystać z poniższej opcji korzystania z RSync, ale jest tylko jedno połączenie między moją stacją roboczą a serwerem. Przesyłając duże pliki do Amazon, istnieje możliwość rozbicia ich lokalnie i rozbicia ich na końcu serwera. wiele plików jest również wysyłanych przez wiele połączeń. Tak więc plik 4 Gb można podzielić na 800 kawałków o wielkości 5 MB i wysłać 4 lub 8 na raz, używając możliwie największej przepustowości przesyłania. Jak to zrobić automatycznie? Mogę zhakować coś razem, aby to zrobić i użyć SFTP do wysłania plików, ale czy istnieje opcja automagiczna?

rsync działa najlepiej, najprawdopodobniej.

rsync -avzP /source user@host:/destination

Powyższa składnia może być użyta do skopiowania plików przez ssh i pozwoli ci wznowić transfer, w którym został przerwany w przypadku rozłączenia. The -v i -P oba są opcjonalne, ale wysoce zalecane w twoim przypadku.

-v nakazuje rsync wydrukować bieżący plik na ekranie.

-z nakazuje rsync skompresować dane. Może to znacznie zwiększyć szybkość przesyłania przez połączenia WAN.

-P nakazuje rsync zrobić dwie rzeczy: Najpierw podaj procentowy postęp na ekranie, taki sam jak --progress. Po drugie, pozostawi częściowo przeniesione pliki na serwerze, więc jeśli jest rozłączenie, pozostawia ten częściowy plik na serwerze, abyś mógł go wznowić. To tak samo jak --partial

Ponieważ ma to być kopia zapasowa poza siedzibą firmy, istnieje wiele opcji, które można wrzucić do rsync, aby była bardzo niezawodna. Możesz bardzo łatwo przekształcić go w przyrostową kopię zapasową, jeśli chcesz.

Podczas drugiego transferu, jeśli którekolwiek z danych uległo zmianie, rsync po prostu skopiuje najnowsze zmiany, pozostawiając resztę samą.