Powiedzmy, że mam maszynę, na której chcę mieć możliwość zapisu w określonym pliku dziennika przechowywanym w zasobniku S3. Tak więc maszyna musi mieć możliwości zapisu w tym zasobniku, ale nie chcę, aby miała możliwość nadpisywania lub usuwania jakichkolwiek plików w tym zasobniku (w tym tego,...
Czy są jakieś zależności między platformą Spark i Hadoop ? Jeśli nie, czy są jakieś funkcje, za którymi będę tęsknić, uruchamiając Spark bez Hadoop ?
Chciałbym codziennie kopiować niektóre pliki z zasobnika produkcyjnego do zasobnika programistycznego. Na przykład: Skopiuj zasobnik produkcyjny / kanał / nazwa kanału / data do zasobnika rozwoju / kanału / nazwy kanału / daty Ponieważ pliki, które chcę, są tak głęboko w strukturze folderów,...
Mam następującą strukturę folderów w S3. Czy istnieje sposób na rekurencyjne usuwanie wszystkich plików w określonym folderze (powiedzmy foo/bar1 or foo or foo/bar2/1...) foo/bar1/1/.. foo/bar1/2/.. foo/bar1/3/.. foo/bar2/1/.. foo/bar2/2/.. foo/bar2/3/..
Dość podstawowe pytanie, ale nie udało mi się znaleźć odpowiedzi. Używając Transit mogę "przenosić" pliki z jednego zasobnika S3 na jednym koncie AWS do innego zasobnika S3 na innym koncie AWS, ale to, co faktycznie robi, to pobieranie plików z pierwszego, a następnie przesyłanie ich do...
Mam plik tekstowy zapisany na S3, który jest tabelą rozdzielaną tabulatorami. Chcę załadować go do pandy, ale nie mogę go najpierw zapisać, ponieważ pracuję na serwerze heroku. Oto, co mam do tej pory. import io import boto3 import os import pandas as pd os.environ["AWS_ACCESS_KEY_ID"] =...
Zamknięte. To pytanie nie spełnia wytycznych dotyczących przepełnienia stosu . Obecnie nie przyjmuje odpowiedzi. Chcesz poprawić to pytanie? Zaktualizuj pytanie, aby było na temat przepełnienia stosu. Zamknięte 1 rok temu . Popraw to pytanie...
Szukałem w Internecie od ponad dwóch dni i prawdopodobnie przejrzałem większość udokumentowanych online scenariuszy i obejść, ale jak dotąd nic nie działało. Jestem na AWS SDK dla PHP V2.8.7 działającego na PHP 5.3. Próbuję połączyć się z moim wiadrem S3 za pomocą następującego kodu: //...
Czy ktoś wie, jak to zrobić? Jak dotąd nie udało mi się znaleźć niczego przydatnego w Google. Naprawdę chciałbym skonfigurować lokalne repozytorium i użyć go git pushdo opublikowania go w S3, pomysł polega na tym, aby mieć lokalną kontrolę wersji nad zasobami, ale zdalne przechowywanie na...
Obecnie korzystam z wtyczki node.js o nazwie s3-upload-stream do przesyłania strumieniowego bardzo dużych plików do Amazon S3. Korzysta z wieloczęściowego API iw większości działa bardzo dobrze. Jednak ten moduł pokazuje swój wiek i musiałem już wprowadzić do niego modyfikacje (autor również go...
W projekcie Node.js próbuję odzyskać dane z S3. Kiedy używam getSignedURL , wszystko działa: aws.getSignedUrl('getObject', params, function(err, url){ console.log(url); }); Moje parametry to: var params = { Bucket: "test-aws-imagery", Key:
Chciałbym sprawdzić, czy klucz istnieje w danym zasobniku za pomocą Javy. Przyjrzałem się API, ale nie ma żadnych przydatnych metod. Próbowałem użyć, getObjectale rzuciło to wyjątek.
AWS ma kilka lokalizacji do przechowywania i instancji EC2, na których można działać z różnymi cenami. Jak mogę określić, która lokalizacja jest najlepsza dla określonego regionu. Czy jest intuicyjny (najlepiej bliżej regionu obsługi), czy też istnieją jakiekolwiek problemy z niezawodnością...
Gdybym miał milion obrazów, czy lepiej byłoby przechowywać je w jakiejś hierarchii folderów / podfolderów, czy po prostu zrzucić je wszystkie prosto do wiadra (bez żadnych folderów)? Czy zrzucenie wszystkich obrazów do zasobnika bez hierarchii spowolniłoby działanie LISTY? Czy istnieje znaczny...
Utworzyłem folder w s3 o nazwie „test” i wrzuciłem „test_1.jpg”, „test_2.jpg” do „test”. Jak mogę użyć boto, aby usunąć folder „test”?
Korzystając z boto3, mogę uzyskać dostęp do mojego wiadra AWS S3: s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket-name') Teraz zasobnik zawiera folder first-level, który sam zawiera na przykład kilka podfolderów o nazwach ze znacznikiem czasu 1456753904534. Muszę znać nazwy tych...
Czy ktoś wie, czy istnieje ograniczenie liczby obiektów, które mogę umieścić w wiadrze S3? czy mogę umieścić milion, 10 milionów itd. w jednym wiadrze?
Może jestem ślepy, ale nie mogę znaleźć w dokumentacji S3 maksymalnej długości nazwy pliku, którą można przesłać w S3.
Używam boto3 do pobierania plików z zasobnika s3. Potrzebuję podobnej funkcjonalności jakaws s3 sync Mój obecny kod to #!/usr/bin/python import boto3 s3=boto3.client('s3') list=s3.list_objects(Bucket='my_bucket_name')['Contents'] for key in list: s3.download_file('my_bucket_name', key['Key'],...
Wgrywam plik do S3 za pomocą Javy - tak mam do tej pory: AmazonS3 s3 = new AmazonS3Client(new BasicAWSCredentials("XX","YY")); List<Bucket> buckets = s3.listBuckets(); s3.putObject(new PutObjectRequest(buckets.get(0).getName(), fileName, stream, new ObjectMetadata())); Plik jest...