Migruję mój serwer z USA do Wielkiej Brytanii z jednego centrum danych do drugiego. Mój gospodarz powiedział, że powinienem być w stanie osiągnąć 11 megabajtów na sekundę.
System operacyjny to Windows Server 2008 na obu końcach.
Mój średni rozmiar pliku wynosi około 100 MB, a dane są podzielone na pięć dysków 2 TB.
Jaki byłby zalecany sposób przesłania tych plików?
- FTP
- SMB
- Rsync / Robocopy
- Inny?
Nie przejmuję się zbytnio bezpieczeństwem, ponieważ i tak są to pliki publiczne, ale chcę tylko rozwiązania, które może przesunąć pełną szybkość przesyłania 11 MB / s, aby zminimalizować całkowity czas przesyłania.
file-transfer
large-data
Paul Hinett
źródło
źródło
Odpowiedzi:
Zamiast tego wysyłaj dyski twarde przez ocean.
Przy prędkości 11 Mb / s przy pełnym wykorzystaniu, wystarczy zaledwie 90 dni na przesłanie 10 TB.
11 Mbps = 1.375 MBps = 116,015 GB / dzień .
10240 GB / 116,015 GB / dzień = ~ 88,3 dni .
źródło
Powiedziałbym, że rsync, przy 11 MB / s spojrzysz na 10-14 dni i nawet jeśli zostaniesz przerwany, rsync łatwo uruchomi się tam, gdzie przestał ostatnim razem.
Przy prędkości 11 Mb / s wysyłam dyski twarde jak sugerowano powyżej :)
źródło
stat
czasu, z mojego doświadczenia), a nie z całkowitą ilością danych. Nie spodziewałbym się znaczącego oczekiwania (najwyżej kilka minut). Chociaż moje doświadczenie z rsync topami jest nieco poniżej 5 TB.Oczywiście Rsync.
Przynajmniej możesz kontynuować w dowolnym momencie po przerwie i to bez żadnego bólu.
źródło
rsync
tylko do kopiowania dużych plików nie jest wydajne. Dla moich rzeczy skończyło się używająctar
nadnetcat
lubssh
do początkowego transferu. Jest znacznie szybszy i natychmiast rozpoczyna przesyłanie, arsync
najpierw skanuje wszystkie pliki, co zajmuje dużo czasu. Jeśli zostanie to przerwane, nadal będziesz mógł z niego korzystaćrsync
. W rzeczywistości robię to czasami potar
tym, aby upewnić się, że wszystkie uprawnienia, pliki gniazd itp. Są prawidłowe.Nigdy nie lekceważ przepustowości wozu kombi pełnego taśm
- Trad.
W twoim przypadku dyski lub taśmy wysyłane przez kuriera, ale zasada ta nadal obowiązuje. Jeśli nie obawiasz się opóźnień, będzie to znacznie tańsze niż przepustowość sieci do przesyłania 10 TB danych w rozsądnym czasie.
źródło
Powinieneś użyć rsync. Będzie on kompresować dane i de-powielać je przed wysłaniem. Może także wznowić przelewy częściowe, co jest bardzo ważne w przypadku dużych transferów.
Prawdopodobnie nie przenosi 10 TB; jeśli są to dzienniki i tekst i takie mogą być mniejsze niż 1 TB; być może znacznie poniżej 1 TB.
Istnieją narzędzia, które lepiej wykonują kompresję niż rsync i prawdopodobnie znajdują więcej dopasowań. Możesz użyć
lrzip
itp.Istnieją określone typy danych, które nie kompresują się dobrze i nie zawierają dosłownych duplikatów - na przykład filmy i inne media. W takich przypadkach FTP i rsync wykonują ten sam wysiłek.
źródło
Wiem, że jest to już akceptowane, ale czy zastanawiałeś się nad zabraniem dysków do centrum danych / dostawcy / hosta, gdzie możesz uzyskać większą przepustowość? Prawdopodobnie będzie to kosztować trochę pieniędzy, ale kopiowanie 10240 Gb na dyski kopii zapasowych, a wysyłanie będzie kosztować zarówno czas, jak i pieniądze (2 x pieniądze).
Ponadto będziesz mieć pewność, że Twoje dyski nie ulegną uszkodzeniu w transporcie.
źródło
11 Mb / s? Jest to dość ograniczone ograniczenie. W twojej sytuacji po prostu:
Jeśli naprawdę nie masz rozwiązania, aby zwiększyć przepustowość ... Wysyłanie dysku fizycznego będzie znacznie szybsze.
Z mojego bolesnego doświadczenia dyski twarde mają tendencję do uszkadzania poczty ... Dyski flash USB są znacznie lepszym rozwiązaniem do częstego przesyłania danych. W twoim przypadku wymagałoby to kilku z nich :) Wyślij więc 2 kopie danych na wiele dysków twardych.
Biorąc pod uwagę ilość danych, które możesz mieć, możesz również wysyłać dyski z macierzy RAID 5 lub RAID 6, jeśli masz ten sam sprzęt / oprogramowanie po drugiej stronie, aby podłączyć dyski. Ale w takim przypadku pamiętaj, aby zaznaczyć kolejność dysków i ich numery seryjne, więc podczas ponownej konfiguracji nie mylą się.
źródło
Chociaż w tym przypadku muszę zgodzić się na odpowiedź „wyślij to przy użyciu dysków twardych”, oto rozwiązanie do kopiowania, którego używam, gdy po raz pierwszy muszę skopiować duże ilości plików:
Chociaż
rsync
dobrze jest zsynchronizować dwa magazyny danych, wprowadza sporo niepotrzebnego obciążenia na początkowy transfer. Doszedłem do wniosku, że najszybszym sposobem jesttar
przeniesienie sięnetcat
. Na stronie odbiornika można również użyćnetcat
w trybie nasłuchu , który przesyła przychodzące dane do rozpakowywaniatar
. Zaletą jest to, żetar
natychmiast rozpoczyna wysyłanie inetcat
wysyła jako zwykły strumień TCP bez dodatkowego obciążenia protokołu wyższego poziomu. Powinno to być tak szybkie, jak to możliwe. Ponowne uruchomienie przerwanego transferu na ostatniej pozycji nie jest jednak proste.Można również łatwo skompresować dane do przesłania przy użyciu odpowiednich
tar
opcji lub dodać narzędzie do kompresji w rurach. Pamiętaj, żenetcat
data jest niezaszyfrowana. W przypadkach, gdy nie jest to opcja,ssh
zamiast tego można użyć szyfrowanego połączenia (tar <options> | ssh <target> -c 'tar -x <options>'
).Jeśli wszystkie dane są przesyłane,
rsync
można zsynchronizować wszystkie pliki, które zostały w międzyczasie zaktualizowane. Również IIRCtar
nie tworzy gniazd, które w przeciwnym razie zostaną zgubione, ale tak naprawdę nie są one wykorzystywane do danych w centrum danych.źródło
Czy rozważałeś IPoAC ?
źródło
Ponownie, pierwszą sugestią jest wysłanie dysków.
Drugą sugestią jest użycie rsync do rsyncd, a nie przez SSH. Próbowałem wielu rzeczy i zwykle jest to najszybszy. Pamiętaj, aby włączyć kompresję. Spójrz także na zwiększenie lub zmniejszenie rozmiaru bufora rsync, aby uzyskać optymalną szybkość transferu. Może to również pomóc zwiększyć rozmiar MTU . Pomaga to tylko wtedy, gdy routery na trasie nie fragmentują twoich pakietów. Istnieją sposoby, aby ustalić, czy tak.
Niestety nie ma ustawienia, które zawsze jest najlepsze. Będziesz musiał eksperymentować, aby dowiedzieć się, co działa najlepiej w twojej sytuacji.
źródło
Wspomniałeś, że na serwerach działa system Windows 2008. Czy Microsoft DFS byłby odpowiedni? W dolnej części jest trochę magii, która próbuje uzyskać jak największą przepustowość połączenia, a także ma kompresję i duplikację (IIRC).
Pamiętaj, że dyski twarde, DVD lub BluRays byłyby szybsze ... Moje obliczenia to 11 dni przy pełnych 11 MB / s ...
źródło
Możesz do tego użyć torrenta.
Utwórz prywatny torrent na jednym końcu i użyj klienta na drugim.
Chociaż istnieje szyfrowanie, musisz sprawdzić swoje wymagania.
źródło