Ograniczenie S3 do obiektów w wiadrze

Czy ktoś wie, czy istnieje ograniczenie liczby obiektów, które mogę umieścić w wiadrze S3? czy mogę umieścić milion, 10 milionów itd. w jednym wiadrze?

Według Amazon:

Zapisuj, odczytuj i usuwaj obiekty zawierające od 0 bajtów do 5 terabajtów danych każdy. Liczba obiektów, które możesz przechowywać jest nieograniczona.

Źródło: http://aws.amazon.com/s3/details/ stan na 3 września 2015 r.

Wygląda na to, że limit się zmienił. Możesz przechowywać 5 TB dla jednego obiektu.

Całkowita objętość danych i liczba obiektów, które możesz przechowywać, są nieograniczone. Poszczególne obiekty Amazon S3 mogą mieć rozmiar od minimum 0 bajtów do maksymalnie 5 terabajtów. Największy obiekt, który można przesłać w jednym PUT, ma 5 gigabajtów. W przypadku obiektów większych niż 100 megabajtów klienci powinni rozważyć użycie funkcji przesyłania wieloczęściowego.

http://aws.amazon.com/s3/faqs/#How_much_data_can_I_store

• Nie ma ograniczenia liczby obiektów na wiadro.
• Istnieje limit 100 wiader na konto (jeśli potrzebujesz więcej, musisz poprosić o amazon).
• Nie ma spadku wydajności, nawet jeśli przechowujesz miliony obiektów w jednym zasobniku.

Z dokumentów,

Nie ma ograniczeń co do liczby obiektów, które można przechowywać w zasobniku i nie ma różnicy w wydajności, niezależnie od tego, czy używasz wielu zasobników, czy tylko kilku. Możesz przechowywać wszystkie swoje obiekty w jednym zasobniku lub możesz je uporządkować w kilku zasobnikach.

stan na sierpień 2016 r

Chociaż możesz przechowywać nieograniczoną liczbę plików / obiektów w jednym zasobniku, kiedy przejdziesz do listy „katalogu” w zasobniku, domyślnie dostaniesz tylko pierwsze 1000 plików / obiektów w tym zasobniku. Aby uzyskać dostęp do wszystkich plików w dużym „katalogu” takim jak ten, musisz wykonać wiele wywołań ich interfejsu API.

Nie ma ograniczeń co do liczby obiektów, które możesz przechowywać w swoim segmencie S3. AWS twierdzi, że ma nieograniczoną przestrzeń dyskową. Istnieją jednak pewne ograniczenia -

1. Domyślnie klienci mogą udostępnić do 100 zasobników na konto AWS. Możesz jednak zwiększyć swój limit zasobnika Amazon S3, odwiedzając AWS Service Limits.
2. Obiekt może mieć od 0 bajtów do 5 TB.
3. Największy obiekt, który można przesłać w jednym PUT, ma 5 gigabajtów
4. W przypadku obiektów większych niż 100 megabajtów klienci powinni rozważyć użycie funkcji przesyłania wieloczęściowego.

Biorąc to pod uwagę, jeśli naprawdę masz dużo obiektów do przechowywania w zasobniku S3, rozważ losowanie prefiksu nazwy obiektu, aby poprawić wydajność.

Gdy obciążenie jest mieszanką typów żądań, wprowadź pewną losowość do nazw kluczy, dodając ciąg skrótu jako prefiks do nazwy klucza. Poprzez wprowadzenie losowości do nazw kluczy, obciążenie we / wy zostanie rozłożone na wiele partycji indeksu. Na przykład możesz obliczyć skrót MD5 sekwencji znaków, którą planujesz przypisać jako klucz i dodać 3 lub 4 znaki z skrótu jako przedrostek do nazwy klucza.

Więcej szczegółów - https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-performance-improve/

- stan na czerwiec 2018 r

„Możesz przechowywać dowolną liczbę obiektów w zasobniku oraz zapisywać, odczytywać i usuwać obiekty w swoim zasobniku. Obiekty mogą mieć rozmiar do 5 terabajtów”.

z http://aws.amazon.com/s3/details/ (od 4 marca 2015)

@ Acyra - wydajność dostarczania obiektu z jednego zasobnika zależałaby w dużym stopniu od nazw obiektów w nim.

Gdyby nazwy plików były oddzielone losowymi znakami, ich fizyczne lokalizacje byłyby dalej rozproszone na sprzęcie AWS, ale jeśli nazwałbyś wszystko „common-x.jpg”, „common-y.jpg”, wówczas te obiekty będą przechowywane razem.

Może to spowolnić dostarczanie plików, jeśli zażądasz ich jednocześnie, ale nie na tyle, aby Cię martwić, tym większe ryzyko wiąże się z utratą danych lub awarią, ponieważ te obiekty są przechowywane razem, zostaną utracone lub niedostępne razem.