Jak ograniczyć przepustowość kopii pliku?

13

Mam starą skrzynkę systemu Windows 2000 w zdalnej lokalizacji z połączeniem T1 i VPN do mojej lokalizacji. Zwykle używam montowań smb do przesyłania plików, ale teraz nadszedł czas na wycofanie serwera i skopiowanie kopii zapasowych do mojej lokalizacji. Mam około 40 gigabajtów (skompresowanych) do skopiowania. Jestem przygotowany na to, że zajmie to dużo czasu, ale mam kilka zastrzeżeń.

  • Muszę ograniczyć przepustowość, aby nie wpływać na połączenia usług terminalowych z witryną
  • Chcę móc wznowić częściowe przeniesienie

Istnieje kilka małych plików i kilka dużych plików (10-20 gigabajtów). Znam rsync na platformach * nix, ale miałem pecha z Windowsem i nie wiem, czy naprawdę zachowa częściowo przesłane pliki. Czego używasz?

Rebbot
źródło
1
Robocopy wydaje się być dobrym rozwiązaniem, wkrótce będę musiał spróbować. Obecnie jestem 53,7% na prywatnym torrentie. Wybrałem uTorrent zamiast robocopy ze względu na jego harmonogram, który pozwoli mi przesyłać nieograniczoną liczbę godzin poza godzinami pracy i z przyzwoitym limitem, gdy ma to znaczenie. Sprawdzanie sumy też nie boli. W końcu skorzystałem z instrukcji Jeffa codinghorror.com/blog/archives/001272.html, choć jestem pewien, że chciałbym mieć większą kontrolę nad publicznym torrentem.
recbot

Odpowiedzi:

19

robocopy.exema przełącznik o nazwie przerwa między pakietami , pozwalający wstawić okno czasowe pomiędzy pakietami kopii, a tym samym zmniejszyć wpływ na kanał.

Nie jest to dokładnie „wykorzystanie nie więcej niż 30% dostępnej przepustowości”, ale można osiągnąć ten sam efekt przy odrobinie matematyki. Zawsze możesz określić pewną liczbę milisekund i pozwolić mu działać przez chwilę, a następnie CTRL+Cprzerwać, odpowiednio dostosować polecenie, a następnie wznowić. Zrobiłem to właśnie wtedy, gdy nie chciałem przeciążać sieci WAN w ciągu dnia roboczego ogromnymi replikacjami.

robocopy ma inny przełącznik /zumożliwiający „wznawianie” transferów, więc jeśli transfer zostanie przerwany, możesz odebrać od miejsca, w którym przerwałeś, i nie musisz ponownie przesyłać całego 40 GB.

Nie jestem pewien, jak szczegółowy jest bit wznowienia, ponieważ tak naprawdę nigdy nie testowałem na przykład pojedynczego pliku ZIP o pojemności 40 GB. Najpierw przetestuj coś mniejszego ;-)

Istnieje kilka ładnych graficznych interfejsów użytkownika dla robocopy, które mogą pomóc w składni, ale każdy z Linuksem z łatwością go przejrzy. Pobierz najnowsze wersje z kopii systemu Windows 2003 lub nowszej. W przeciwnym razie znajdziesz go jako plik do pobrania Windows 2000 Resource Kit Tool.

We wpisie w Wikipedii dotyczącym robocopy ktoś zauważył, że kara za ponowne uruchamianie kopiowania ( /zprzełącznik) jest 6 razy wolniejsza (patrz Znane wady ).

nray
źródło
Robisz to źle - robocopy jest od lat narzędziem wybieranym, testowanym w dowolnej liczbie różnych sieci. „Robo” ma oznaczać „solidny”.
nray
+! dla Robocopy. Użyłem go kilka razy w ten sposób i nigdy nie miałem problemu.
KPWINC
+1 za dobrze znane, często używane narzędzie. Dziwne, jak się wydaje, czasami łatwiej jest umieścić robocopy w (wsadowym) pliku wsadowym i pozwolić mu na powtarzanie kopii w ten sposób za pomocą zadań systemowych.
Avery Payne,
1
W mojej lokalnej sieci LAN stwierdziłem, że wartość IPG 50 ms doprowadziła mnie do około 10 Mb / s, co było wartością pożądaną.
trp
Odkryłem również, że praktycznie nie mogę uzyskać większej przepustowości przy wartościach IPG mniejszych niż około 25 ms.
trp
5

40 GB plików zajmie więcej niż 60 godzin, aby skopiować na T-1. Zewnętrzny dysk twardy może być łatwiejszy do wysłania pocztą w obu kierunkach. Możesz poprosić kogoś o podłączenie go do serwera, skopiowanie / zaszyfrowanie plików, a następnie wysłanie go z powrotem do Ciebie.

Carl C.
źródło
wygląda na około 60 godzin według mojej matematyki: 40 GB * 1024 (MB / GB) * 8 (bit / bajt) / 1,5 Mb / 3600 (s / godz.) = ~ 60 godzin. Oczywiście, prawdopodobnie będą to koszty ogólne i inne, więc potrwa to trochę dłużej, więc może powiedz 70 lub 80, aby być bezpiecznym? Jednak 1,5 Mb / s jest dość wolne, nawet naprawdę stary komputer nie powinien mieć problemów z przesyłaniem danych z tą prędkością.
davr
2
„Nigdy nie lekceważ przepustowości wozu kombi pełnego taśm pędzących po autostradzie”. —Tanenbaum, Andrew S. (1996)
nray
2
Zapasowe dyski twarde zostały utracone w moim biurze. Nie mam nic przeciwko czekaniu.
recbot
40GiB nie jest obecnie tak duże jak na tytuł AAA. Nie masz jeszcze FTTH ?! Skończyłbyś pobieranie Steam, zanim wrócisz z najlepszego zakupu (nie mówiąc już o zasysaniu łatki 25GiB pierwszego dnia).
mbx
W dzisiejszych czasach kiedy? 2016? Wiesz, że ten post został zrobiony w 2009 roku?
JasonXA
4

Możesz spróbować skonfigurować FTP na polu 2000 i użyć klienta FTP na drugim końcu, takiego jak filezilla do radzenia sobie z częściowymi kopiami.

DanBig
źródło
+1 Wspominanie o limitach przepustowości dostępnych w Filezilli nie zaszkodzi.
Oskar Duveborn
3

Mówisz, że użyłeś rsync na * nix, istnieje kilka portów rsync do okien, w których możesz zajrzeć. Na przykład:

Osobiście uważam, że rsync jest dość niezawodny i może obsłużyć przerwy w trakcie przesyłania i tak dalej. Rsync ma również flagę ograniczającą transfery do dokładnej prędkości transferu w Kbit / s, więc wydaje się, że to również działa dla ciebie.

davr
źródło
1

Używam Robocopy do tworzenia kopii zapasowych wszystkich moich serwerów, a także kopii zapasowej Live Mailserver. Po prawidłowym ustawieniu naprawdę ustawia się i zapomina. Najlepsza rzecz, jaka kiedykolwiek przydarzyła się mojemu życiu IT. Właśnie włożyłem moje 32 centy (uwzględniając inflację)


źródło
1

W tym celu używam KillCopy . Uważam to za bardzo wygodne.
Ma osobne profile prędkości i inne ustawienia kopiowania lokalnego i sieciowego.
Można go również wznowić, gdy przesyłanie dużego pliku (lub plików) zostanie przerwane w przypadku złego połączenia lub nawet gdy komputer hostujący program ulegnie awarii.

Roland Pihlakas
źródło