Przenieść pliki bezpośrednio z jednego konta S3 na drugie?

Dość podstawowe pytanie, ale nie udało mi się znaleźć odpowiedzi. Używając Transit mogę "przenosić" pliki z jednego zasobnika S3 na jednym koncie AWS do innego zasobnika S3 na innym koncie AWS, ale to, co faktycznie robi, to pobieranie plików z pierwszego, a następnie przesyłanie ich do drugiego.

Czy istnieje sposób na przeniesienie plików bezpośrednio z jednego konta S3 na drugie bez pobierania ich pomiędzy nimi?

Jeśli szukasz tylko gotowego rozwiązania, istnieje kilka rozwiązań, które mogą to zrobić. Bucket Explorer działa na komputerach Mac i Windows i może kopiować między kontami, podobnie jak Cloudberry S3 Explorer i S3 Browser, ale są one dostępne tylko w systemie Windows, więc mogą nie działać dla Ciebie.

Podejrzewam, że konsola AWS również mogłaby to zrobić z odpowiednimi ustawieniami uprawnień, ale nie testowałem tego.

Możesz to również zrobić za pomocą interfejsu API AWS, o ile nadałeś kontu AWS, którego używasz, uprawnienia do zapisu w docelowym zasobniku.

Tak, jest sposób. Jest to dość proste, choć trudno je znaleźć. 8)

Na przykład załóżmy, że pierwsza nazwa użytkownika konta to [email protected], a druga to [email protected].

Otwórz konsolę zarządzania AWS jako acc1. Przejdź do właściwości zasobnika Amazon S3 i na karcie „Uprawnienia” kliknij „Dodaj więcej uprawnień”. Następnie dodaj uprawnienia do listy i wyświetlania dla „uwierzytelnionych użytkowników”.

Następnie w AWS IAM (jest dostępne z poziomu zakładek konsoli) acc2 stwórz użytkownika z pełnym dostępem do wiadra S3 (aby być bezpieczniejszym, możesz ustawić dokładne uprawnienia, ale ja wolę stworzyć tymczasowego użytkownika do transferu a następnie usuń go).

Następnie możesz użyć s3cmd (używając poświadczeń nowo utworzonego użytkownika w acc2), aby zrobić coś takiego:

s3cmd cp s3://acc1_bucket/folder/ s3://acc2_bucket/folder --recursive

Cały transfer zostanie wykonany po stronie Amazon.

Użyj aws cli (użyłem instancji ubuntu 14 ec2) i po prostu uruchom następujące polecenie:

aws s3 sync s3://bucket1 s3://bucket2

Będziesz musiał określić szczegóły konta dla jednego i mieć publiczny dostęp do zapisu lub publiczny dostęp do odczytu dla drugiego.

Spowoduje to zsynchronizowanie dwóch zasobników. Możesz użyć tego samego polecenia później, aby szybko zsynchronizować. Najlepsze jest to, że nie wymaga żadnej przepustowości (np. Pliki nie przechodzą przez lokalny komputer).

boto działa dobrze. Zobacz ten wątek . Używając boto, kopiujesz obiekty bezpośrednio z jednego zasobnika do drugiego, zamiast pobierać je na komputer lokalny i przesyłać do innego zasobnika.

W systemie Mac OS XI użyłem aplikacji Transmit from Panic. Otworzyłem jedno okno dla każdego konta S3 (używając kluczy API i sekretów). Mogłem wtedy przeciągnąć z jednego wiadra w jednym oknie do drugiego w drugim oknie. Nie musisz najpierw pobierać plików lokalnie .

Andrew ma rację, Transmit pobiera pliki lokalnie, a następnie przesyła je.

Przenieś pliki S3 z jednego konta na inne konto

Rozważmy, że istnieją dwa konta, konto źródłowe i konto docelowe. I dwa wiadra source-bucketi destination bucket. Chcemy przenieść wszystkie pliki z source-bucketdo destination-bucket. Możemy to zrobić wykonując następujące kroki:

1. aws configure
   • Skonfiguruj konto docelowe przy użyciu poświadczeń lub roli IAM.
2. Utwórz zasady użytkownika dla użytkownika konta docelowego.
3. Daj użytkownikowi docelowemu dostęp do zasobnika źródłowego, modyfikując zasadę zasobnika źródłowego i dodając do niej zasady użytkownika konta docelowego. W ten sposób użytkownik docelowy będzie miał dostęp do zasobnika źródłowego.
4. aws s3 ls s3://source-bucket/
   • to sprawdzi, czy konto docelowe ma dostęp do zasobnika źródłowego. Tylko dla potwierdzenia zrób to.
5. aws s3 cp s3://source-bucket s3://destination-bucket --recursive
   • spowoduje to skopiowanie wszystkich plików z zasobnika źródłowego do zasobnika docelowego. Wszystkie pliki są kopiowane przy użyciu flagi --recursive.
6. aws s3 mv s3://source-bucket s3://destination-bucket --recursive
   • spowoduje to przeniesienie wszystkich plików z zasobnika źródłowego do zasobnika docelowego.

Alternatywnie możesz użyć polecenia synchronizacji - aws s3 sync s3://source-bucket s3://detination-bucket

Aby uzyskać lepsze wyjaśnienie, kliknij łącze

CrossFTP może kopiować pliki S3 bezpośrednio z jednego zasobnika do drugiego bez ich pobierania. Jest to klient GUI S3, który działa w systemach Windows, Mac i Linux.

Możesz używać Cyberduck (open source)

W przypadku nowo utworzonych plików (NIE istniejących obiektów) możesz skorzystać z nowej funkcjonalności AWS. Jest to replikacja między regionami (w sekcji „Wersjonowanie” zasobnika S3). Możesz utworzyć politykę, która pozwoli ci replikować nowe obiekty do zasobnika na innym koncie.

W przypadku istniejących obiektów nadal będziesz musiał skopiować swoje obiekty przy użyciu innej metody - chyba że AWS wprowadzi natywną funkcjonalność do tego w przyszłości.

Można to zrobić wykonując następujące czynności:

aws s3 mv (sync for keeping buckets in sync) s3://source-bucket s3://destination-bucket --recursive

1. Dołącz zasadę zasobnika do zasobnika źródłowego na koncie źródłowym.

2. Dołącz zasady AWS Identity and Access Management (IAM) do użytkownika lub roli na koncie docelowym.

3. Użyj użytkownika IAM lub roli na koncie docelowym, aby wykonać przeniesienie między kontami.