pobierz ostatnio zmodyfikowany obiekt z S3 CLI

Mam przypadek użycia, w którym programowo wywołuję instancję EC2, kopiuję i plik wykonywalny z S3, uruchamiam go i zamykam instancję (zrobione w danych użytkownika). Muszę pobrać tylko ostatni dodany plik z S3. Czy istnieje sposób na pobranie ostatnio zmodyfikowanego pliku / obiektu z zasobnika S3 przy użyciu interfejsu wiersza polecenia?

Możesz wyświetlić listę wszystkich obiektów w zasobniku za pomocą aws s3 ls $BUCKET --recursive:

$ aws s3 ls $BUCKET --recursive
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object
2015-04-29 12:09:29      32768 yet-another-object.sh

Są sortowane alfabetycznie według kluczy, ale ta pierwsza kolumna to czas ostatniej modyfikacji. Szybka zmiana sortkolejności ich według daty:

$ aws s3 ls $BUCKET --recursive | sort
2015-04-29 12:09:29      32768 yet-another-object.sh
2015-05-05 15:36:17          4 an_object.txt
2015-06-08 14:14:44   16322599 some/other/object

tail -n 1wybiera ostatni wiersz i awk '{print $4}'wyodrębnia czwartą kolumnę (nazwę obiektu).

$ aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'
some/other/object

Wreszcie, upuść to aws s3 cpdo pobrania obiektu:

$ KEY=`aws s3 ls $BUCKET --recursive | sort | tail -n 1 | awk '{print $4}'`
$ aws s3 cp s3://$BUCKET/$KEY ./latest-object

Po chwili jest mała aktualizacja, jak to zrobić trochę elegancko:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'sort_by(Contents, &LastModified)[-1].Key' --output=text

Zamiast dodatkowej reversefunkcji możemy pobrać ostatni wpis z listy za pomocą[-1]

Stara odpowiedź:

To polecenie po prostu wykonuje zadanie bez żadnych zewnętrznych zależności:

aws s3api list-objects-v2 --bucket "my-awesome-bucket" --query 'reverse(sort_by(Contents, &LastModified))[:1].Key' --output=text

aws s3api list-objects-v2 --bucket "bucket-name" |jq  -c ".[] | max_by(.LastModified)|.Key"

Poniżej znajduje się skrypt bash, który pobiera najnowszy plik z S3 Bucket. Użyłem AWS S3 SynchZamiast tego , aby nie pobierał pliku z S3, jeśli już istnieje.

--exclude, wyklucza wszystkie pliki

--include, zawiera wszystkie pliki pasujące do wzorca

#!/usr/bin/env bash

    BUCKET="s3://my-s3-bucket-eu-west-1/list/"
    FILE_NAME=`aws s3 ls $BUCKET  | sort | tail -n 1 | awk '{print $4}'`
    TARGET_FILE_PATH=target/datdump/
    TARGET_FILE=${TARGET_FILE_PATH}localData.json.gz

    echo $FILE_NAME
    echo $TARGET_FILE

    aws s3 sync $BUCKET $TARGET_FILE_PATH --exclude "*" --include "*$FILE_NAME*"

    cp target/datdump/$FILE_NAME $TARGET_FILE

ps Dzięki @David Murray

Jeśli jest to świeżo przesłany plik, możesz użyć Lambda do wykonania fragmentu kodu na nowym obiekcie S3.

Jeśli naprawdę potrzebujesz najnowszego, możesz nazwać swoje pliki datą najpierw, posortować według nazwy i wybrać pierwszy obiekt.