Mam problem ze zrozumieniem mojego dużego rachunku S3 i pomyślałem, że zapytam tutaj, zanim zrzucę 30 USD na miesięczne wsparcie AWS.
Zasadniczo mam instancję Amazon EC2, która tworzy interfejs API do różnych giełd kryptowalut i zapisuje odpowiedzi na instancję HD. Wywołania są wykonywane co 5 minut, obiekty odpowiedzi mają około 100 kb, są odczytywane przez skrypt R i dodawane do pliku CSV co ~ 8 minut. Ten plik CSV jest synchronizowany z segmentem Amazon S3 co około 15 minut.
Pliki CSV mają zwykle około 10 MB, dla około 15 kryptowalut, co 15 minut. Patrząc w segmencie Amazon S3, może zużyć najwyżej 0,5 GB miejsca.
Jednak „TimedStorage-ByteHours” czyta około 4 TB!
Amazon Simple Storage Service TimedStorage-ByteHrs 89,55 USD
0,000 USD za GB - miejsce do magazynowania w ramach miesięcznego bezpłatnego globalnego poziomu 5 GB - 0,00 USD
0,023 USD za GB - wykorzystano pierwsze 50 TB / miesiąc 3 893,399 GB - Mo 89,55 USD
Jakieś pomysły?
źródło
Odpowiedzi:
Najprawdopodobniej masz włączoną wersję S3 - oznacza to, że stare obiekty po zastąpieniu nowszą wersją nie są usuwane, ale są ukryte w historii. Aby to sprawdzić, przejdź do Wiadro -> Właściwości -> Przechowywanie wersji .
Możesz również przeglądać stare wersje w przeglądarce, tak jak na tym zrzucie ekranu Mam kilka wersji
108c05...json
pliku:Jeśli masz włączoną kontrolę wersji, ale nie chcesz, możesz zawiesić kontrolę wersji, ale pamiętaj, że nie spowoduje to usunięcia starych wersji, musisz:
aws s3api list-object-versions
)Mam nadzieję, że to pomoże :)
źródło
Magazyn o rzadkim dostępie ma minimalną opłatę za 30 dni za sztukę
Standard
jest najdroższy, więc niektóre osoby korzystająinfrequent access
z niższej opłaty miesięcznej (~ 50% rabatu) za GB przechowywanej zgodnie z tabelą cen. ALE, rzadkie ma również opłatę za pobieranie 0,01 USD / GB, więc oszczędza tylko całkowite koszty plików przechowywanych co najmniej jeden miesiąc i pobieranych rzadziej niż raz w miesiącu. W koszyku może również obowiązywać zasada cyklu życia, która zmienia klasę plików z upływem czasu, co może mieć wpływ na rozpoczęcie 30-dniowego minimalnego okresu przechowywania.Drobnym drukiem
infrequent access
ma minimalną opłatę 30 dni za każdy przechowywany element.Źródło: https://aws.amazon.com/s3/pricing/
Pierwszy przypis, oznaczony †
Kosztowne w Amazon S3, a także Google Cloud Storage, są opłaty sieciowe, jeśli dane są wysyłane do publicznego Internetu zamiast trzymane w chmurze tej firmy. Opłata sieciowa za jednorazowe pobranie może z łatwością przekroczyć opłatę za przechowywanie przez 3-4 miesiące. 0,09 USD / GB (październik 2018 r.) Dla AWS S3 , 0,12 USD / GB dla Google Cloud Storage , najniższy poziom użytkowania.
Digital Ocean ma warstwę pamięci zgodną z S3 o nazwie „Spaces”, którą warto sprawdzić. Zgłoszono niektóre błędy, które mogą być dławione w pewien sposób, ale ogólna cena wygląda interesująco i może być „wystarczająco dobra” dla niektórych zastosowań.
źródło