Najlepszy sposób na przenoszenie plików między zasobnikami S3?

Chciałbym codziennie kopiować niektóre pliki z zasobnika produkcyjnego do zasobnika programistycznego.

Na przykład: Skopiuj zasobnik produkcyjny / kanał / nazwa kanału / data do zasobnika rozwoju / kanału / nazwy kanału / daty

Ponieważ pliki, które chcę, są tak głęboko w strukturze folderów, przechodzenie do każdego folderu i kopiowanie / wklejanie jest zbyt czasochłonne.

Bawiłem się montowaniem dysków do każdego zasobnika i pisaniem skryptu wsadowego systemu Windows, ale jest to bardzo powolne i niepotrzebnie pobiera wszystkie pliki / foldery na lokalny serwer i ponownie tworzy kopię zapasową.

Aktualizacja

Jak wskazał alberge (+1), obecnie doskonały interfejs wiersza poleceń AWS zapewnia najbardziej wszechstronne podejście do interakcji z (prawie) wszystkimi funkcjami AWS - w międzyczasie obejmuje większość interfejsów API usług, a także udostępnia polecenia S3 wyższego poziomu do obsługi konkretnie przypadek użycia, zobacz dokumentację AWS CLI dla S3 :

• sync - Synchronizuje katalogi i prefiksy S3. Twój przypadek użycia jest omówiony w przykładzie 2 ( dostępne jest również bardziej szczegółowe użycie --exclude, --includeobsługa prefiksów itp.):

  Następujące polecenie synchronizacji synchronizuje obiekty o określonym prefiksie i zasobniku z obiektami o innym określonym prefiksie i zasobniku, kopiując obiekty s3. […]

  aws s3 sync s3://from_my_bucket s3://to_my_other_bucket
  

Dla kompletności wspomnę, że polecenia S3 niższego poziomu są nadal dostępne za pośrednictwem polecenia sub s3api , co pozwoliłoby bezpośrednio przetłumaczyć dowolne rozwiązanie oparte na SDK na interfejs wiersza poleceń AWS przed ostatecznym przyjęciem jego funkcjonalności wyższego poziomu.

Pierwsza odpowiedź

Przenoszenie plików między zasobnikami S3 można osiągnąć za pomocą PUT Object - Copy API (po którym następuje DELETE Object ):

Ta implementacja operacji PUT tworzy kopię obiektu, który jest już przechowywany w Amazon S3. Operacja kopiowania PUT jest taka sama, jak wykonanie operacji GET, a następnie PUT. Dodanie nagłówka żądania, x-amz-copy-source, powoduje, że operacja PUT kopiuje obiekt źródłowy do zasobnika docelowego. Źródło

Dostępne są odpowiednie przykłady dla wszystkich istniejących zestawów SDK AWS, patrz Kopiowanie obiektów w pojedynczej operacji . Oczywiście rozwiązanie oparte na skryptach byłoby tutaj oczywistym pierwszym wyborem, więc skopiuj obiekt przy użyciu AWS SDK dla Rubiego może być dobrym punktem wyjścia; jeśli wolisz zamiast tego Pythona, to samo można osiągnąć również za pomocą boto, oczywiście, zobacz metodę copy_key()w dokumentacji API S3 boto .

PUT Objectkopiuje tylko pliki, więc DELETE Objectpo udanej operacji kopiowania będziesz musiał jawnie usunąć plik przez nadal, ale będzie to tylko kilka wierszy po utworzeniu całego skryptu obsługującego nazwy zasobnika i plików (są też odpowiednie przykłady patrz np. usuwanie jednego obiektu na żądanie ).

Nowy oficjalny interfejs CLI interfejsu AWS natywnie obsługuje większość funkcji s3cmd. Wcześniej używałem s3cmdlub Ruby AWS SDK do robienia takich rzeczy, ale oficjalny CLI działa świetnie do tego.

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

aws s3 sync s3://oldbucket s3://newbucket

Spędziłem dni na pisaniu własnego, niestandardowego narzędzia do zrównoleglania kopii wymaganych do tego, ale potem natknąłem się na dokumentację, w jaki sposób uzyskać polecenie synchronizacji interfejsu wiersza polecenia AWS S3, aby zsynchronizować zasobniki z ogromną równoległością . Następujące polecenia powiedzą interfejsowi wiersza poleceń AWS, aby używał 1000 wątków do wykonywania zadań (każdy mały plik lub jedna część kopii wieloczęściowej) i przewidywał 100 000 zadań:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Po ich uruchomieniu możesz użyć prostego polecenia synchronizacji w następujący sposób:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

Na maszynie m4.xlarge (w AWS - 4 rdzenie, 16GB RAM), dla mojego przypadku (pliki 3-50GB) prędkość synchronizacji / kopiowania wzrosła z około 9,5MiB / s do 700 + MiB / s, wzrost prędkości o 70x w stosunku do domyślnej konfiguracji.

Aktualizacja: pamiętaj, że S3CMD był aktualizowany przez lata i te zmiany są teraz skuteczne tylko podczas pracy z wieloma małymi plikami. Należy również zauważyć, że S3CMD w systemie Windows (tylko w systemie Windows) ma poważnie ograniczoną ogólną przepustowość i może osiągnąć tylko około 3 Gb / s na proces, bez względu na rozmiar wystąpienia lub używane ustawienia. Inne systemy, takie jak S5CMD, mają ten sam problem. Rozmawiałem o tym z zespołem S3 i oni się tym zajmują.

Aby przenieść / skopiować z jednego zasobnika do drugiego lub tego samego zasobnika, używam narzędzia s3cmd i działa dobrze. Na przykład:

s3cmd cp --recursive s3://bucket1/directory1 s3://bucket2/directory1
s3cmd mv --recursive s3://bucket1/directory1 s3://bucket2/directory1

Przykład .NET na żądanie:

using (client)
{
    var existingObject = client.ListObjects(requestForExisingFile).S3Objects; 
    if (existingObject.Count == 1)
    {
        var requestCopyObject = new CopyObjectRequest()
        {
            SourceBucket = BucketNameProd,
            SourceKey = objectToMerge.Key,
            DestinationBucket = BucketNameDev,
            DestinationKey = newKey
        };
        client.CopyObject(requestCopyObject);
    }
}

a klient jest czymś podobnym

var config = new AmazonS3Config { CommunicationProtocol = Protocol.HTTP, ServiceURL = "s3-eu-west-1.amazonaws.com" };
var client = AWSClientFactory.CreateAmazonS3Client(AWSAccessKey, AWSSecretAccessKey, config);

Może być lepszy sposób, ale to tylko krótki kod, który napisałem, aby przenieść niektóre pliki.

Jeśli masz hosta unixowego w AWS, użyj s3cmd z s3tools.org. Skonfiguruj uprawnienia tak, aby Twój klucz miał dostęp do odczytu do zasobnika programistycznego. Następnie uruchomić:

s3cmd cp -r s3://productionbucket/feed/feedname/date s3://developmentbucket/feed/feedname

Dla mnie to polecenie właśnie zadziałało:

aws s3 mv s3://bucket/data s3://bucket/old_data --recursive

Oto klasa ruby ​​do tego: https://gist.github.com/4080793

Przykładowe użycie:

$ gem install aws-sdk
$ irb -r ./bucket_sync_service.rb
> from_creds = {aws_access_key_id:"XXX",
                aws_secret_access_key:"YYY",
                bucket:"first-bucket"}
> to_creds = {aws_access_key_id:"ZZZ",
              aws_secret_access_key:"AAA",
              bucket:"first-bucket"}
> syncer = BucketSyncService.new(from_creds, to_creds)
> syncer.debug = true # log each object
> syncer.perform

Właściwie od niedawna po prostu używam akcji kopiuj + wklej w interfejsie AWS s3. Po prostu przejdź do plików, które chcesz skopiować, kliknij „Działania” -> „Kopiuj”, a następnie przejdź do zasobnika docelowego i „Działania” -> „Wklej”

Przesyła pliki dość szybko i wydaje się, że jest to mniej zawiłe rozwiązanie, które nie wymaga żadnego programowania lub takich rozwiązań z górnej półki.

Dokładnie ten problem mieliśmy z naszymi zadaniami ETL w Snowplow , więc wyodrębniliśmy nasz równoległy kod kopiowania plików (Ruby, zbudowany na bazie Fog ), do jego własnego klejnotu Ruby o nazwie Śluza:

https://github.com/snowplow/sluice

Sluice obsługuje również usuwanie, przenoszenie i pobieranie plików S3; wszystko równoległe i z automatyczną ponowną próbą, jeśli operacja się nie powiedzie (co robi się zaskakująco często). Mam nadzieję, że to przydatne!

Wiem, że to stary wątek, ale dla innych, którzy tam docierają, proponuję utworzenie zaplanowanego zadania w celu skopiowania treści z segmentu produkcyjnego do segmentu rozwojowego.

Jeśli korzystasz z platformy .NET, możesz skorzystać z tego artykułu

https://edunyte.com/2015/03/aws-s3-copy-object-from-one-bucket-or/

W nowej wersji aws2.

aws2 s3 sync s3://SOURCE_BUCKET_NAME s3://NEW_BUCKET_NAME