Jak przesłać duże pliki do S3 przy niestabilnym połączeniu?

9

Mam kilka plików (od 500 MB do 7 GB), które muszę przesłać do wiadra S3. Moje połączenie jest bardzo niestabilne.

Próbowałem przesłać plik 500 MB przez, s3cmdale upłynął limit czasu, gdy wykonano go w 91% (co zajęło 16 godzin)

Próbowałem z CyberDuck, ale to samo się stało. Nie powiodło się po około 20%, a kiedy próbowałem ponowić transfer, wszystko zaczęło się od początku. CyberDuck ma obsługiwać wiele części, ale chyba nie ...

Mógłbym podzielić pliki na mniejsze, takie jak to: Jak podzielić plik .zip na wiele segmentów? , ale wolałbym nie, chyba że była to moja jedyna opcja. Jaki jest dobry program, którego mogę użyć, który pozwoli mi przesyłać duże pliki do S3 z obsługą wznowienia?

internet-connection upload amazon-s3 użytkownik2254
źródło

Odpowiedzi:

6

Właśnie próbowałem użyć s3tools (s3cmd-1.5.0-rc1). Otrzymałem tę wskazówkę z ich FAQ http://s3tools.org/kb/item13.htm . Patrz poniżej.

Czy s3cmd obsługuje przesyłanie wieloczęściowe?

Tak, najnowsza wersja s3cmd obsługuje przesyłanie wieloczęściowe Amazon S3.

Przesyłanie wieloczęściowe jest automatycznie stosowane, gdy plik do przesłania jest większy niż 15 MB. W takim przypadku plik jest podzielony na wiele części, z których każda ma rozmiar 15 MB (ostatnia część może być mniejsza). Każda część jest następnie przesyłana osobno, a następnie odtwarzana w miejscu docelowym po zakończeniu transferu.

Dzięki tej nowej funkcji, jeśli przesłanie części nie powiedzie się, można ją ponownie uruchomić bez wpływu na inne przesłane części.

Istnieją dwie opcje związane z przesyłaniem wieloczęściowym w s3cmd. Oni są:

- wyłącz-wieloczęściowy

Wyłącz przesyłanie wieloczęściowe dla wszystkich plików

i

--multipart-chunk-size-mb = SIZE

Rozmiar każdego fragmentu pliku wieloczęściowego. Pliki większe niż SIZE są automatycznie przesyłane jako wielowątkowe-wieloczęściowe, mniejsze pliki są przesyłane tradycyjną metodą. ROZMIAR jest w megabajtach, domyślny rozmiar fragmentu to 15 MB, minimalny dozwolony rozmiar fragmentu to 5 MB, maksymalny to 5 GB.

Więc kiedy przesyłam, wybieram najmniejszy rozmiar porcji. Powinieneś zobaczyć poniżej podział i wznawianie przesyłania.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

Potem wznawiam.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
f01
źródło
2

Wierzę w Cyberduck w oknie przelewów, możesz kliknąć prawym przyciskiem myszy i wybrać wznowić.

Jeśli to nie zadziała, Cloudberry obsługuje wznawianie przesyłania

ernie
źródło
Z jakiegoś powodu w Cyberduck moje CV nie działa dla wieloczęściowego S3. Jakieś wskazówki?
f01,
2

Za pomocą FileZilla Pro można przesyłać pliki do iz segmentu S3. FileZilla Pro obsługuje przesyłanie wieloczęściowe, aw przypadku niepowodzenia wznawia przesyłanie.

Do nagrań dołączono wiele innych funkcji: obsługę dużych plików, przesyłanie zbiorcze, filtry, porównanie katalogów, zdalne wyszukiwanie plików, przeciąganie i upuszczanie, konfigurację ograniczeń prędkości.

Jestem członkiem zespołu FileZilla Pro.

Dowiedz się więcej na https://filezillapro.com i na https://youtube.com/c/FileZillaPro

josuegomes
źródło
Pamiętaj, że jeśli jesteś w jakikolwiek sposób powiązany z produktem, musisz to ujawnić w swojej odpowiedzi.
konfetti
@confetti, przepraszam, że tego nie wiedziałem. Nie mogłem znaleźć niczego konkretnego w pomocy ani w kodeksie postępowania. W rzeczywistości założyłem, że jest to zabronione. Dodano informację.
josuegomes
Nie ma problemu, nie mogę go znaleźć w tekście pomocy, więc może to coś, co mody powinny dodać, ale na pewno jest dozwolone! Ogólnie może być nawet lepiej, ponieważ ludzie wiedzą, że mogą w komentarzach zapytać o coś specyficznego dla oprogramowania i otrzymać coś w rodzaju „oficjalnej” odpowiedzi. :)
konfetti