Potrzebujesz wykonać kopię zapasową danych na Amazon S3?

W S3 hostuję 200 GB zdjęć produktów (jest to mój główny host plików).

Czy muszę wykonać kopię zapasową tych danych w innym miejscu, czy też S3 jest bezpieczny?

Eksperymentowałem z montażem segmentu S3 w instancji EC2, a następnie tworzeniem nocnej kopii zapasowej rsync. Problem polega na tym, że jest to około 3 milionów plików, więc wygenerowanie różnych potrzeb rsync zajmuje trochę czasu. Wykonanie kopii zapasowej zajmuje około 3 dni.

Jakieś pomysły, jak to zrobić lepiej? (jeśli to w ogóle konieczne?)

Robię badania nad tym, dość zabawne.

Twoje kopie zapasowe w S3 mogą się nie powieść w zależności od regionu z powodu ostatecznej spójności; podstawowe ostrzeżenie jest takie, że jeśli zrobisz to wystarczająco, w pewnym momencie będziesz mieć błędy podczas otwierania lub znajdowania plików, ponieważ magia systemu plików w tle Amazon synchronizuje się między serwerami, więc kopie zapasowe mogą nie być niezawodne.

To, czy chcesz je zapisać w inny sposób, zależy od zarządzania ryzykiem. Czy ufasz Amazonowi, że przechowa twoje dane?

Możliwe, że coś stracą lub ulegną większej awarii systemu pamięci; bez wątpienia mają w swoich umowach klauzule określające, że jeśli utracą twoje dane, to twój problem. Nie ich. Ponieważ widząc, że Twoje dane są przechowywane gdzie indziej, nie wiesz, co oni z nimi zrobią; organy ścigania chcą Twoich danych? Możesz nawet nie wiedzieć, że ktoś inny miał do niego dostęp.

Czy wierzysz w to? Jeśli dane nie są kluczowe dla Twojej firmy i chcesz zaakceptować to ryzyko, nie musisz pobierać ich do pamięci zewnętrznej. Jeśli nie chcesz ryzykować, że twoje dane będą bezpieczne na serwerach pamięci Amazon tam, powinieneś poczynić przygotowania do okresowego zrzucania ich do własnego magazynu.

Innymi słowy, nie sądzę, aby istniała prosta odpowiedź na to pytanie, ponieważ zależy to od tolerancji ryzyka i potrzeb biznesowych. Wiele osób nie ufa całkowicie swoim dochodom wyłącznie z przechowywania w chmurze, osobiście czuję się trochę nieufny ...

Aby to zrobić lepiej, w dyskusjach i badaniach, innym podejściem do rozważenia jest utworzenie wolumenu EBS wystarczająco dużego, aby przechowywać dane, dołączyć go do instancji EC2, zapisać tam dane, a następnie można odmontować wolumin i zapisać dane w S3 . Jestem w trakcie badania, czy można to zrobić jako zapisanie samego pliku woluminu do S3 lub zawartości ... ale wtedy możesz usunąć instancję EBS, gdy skończysz, aby zaoszczędzić na kosztach przechowywania.

EDYTOWAĆ Widzę w ponownym czytaniu, że zapisujesz Z S3 DO instancji EC2, a nie odwrotnie (chociaż nie wiem, czy ewentualny problem z spójnością może nadal powodować problemy). Próbujesz zapisać dane w instancji EC2 jako kopię zapasową? Sądzę, że pod względem kosztów to nie jest taktyka; tworzenie kopii zapasowych na dysku lokalnym może być tańsze, jeśli weźmiesz pod uwagę długoterminowe przechowywanie tego rodzaju danych wraz z czasem VM. Dzięki kosztom dysku możesz skopiować dane na dysk lokalny jako kopię zapasową.

Nadal trzymałbym ostrzeżenia o zaufaniu Amazonowi i ich pamięci masowej. Jeśli chcesz zachować wszystko w Amazon S3, ale mieć więcej redundancji, zduplikuj swoje segmenty S3 w różnych regionach, a jeśli mają awarię wpływającą na jeden region, nie powinno to powodować ich eliminacji. Miałbyś nadzieję Wszystko jest jednak możliwe.

Wszystko sprowadza się do tego, jak bardzo cenisz swoje dane, ile chcesz za nie zapłacić i jakie ryzyko chcesz tolerować.

Użyłem s3cmd-tych s3cmd sync , aby to zrobić. Jest trochę podobny do rsync w działaniu i może pchać i wyciągać całe katalogi między S3 a innym wybranym systemem Linux.

Nie widzę żadnego powodu, dla którego nie mogłeś s3cmd syncuruchomić działającej instancji EC2, ani nawet własnej stacji roboczej programisty (lub serwera pamięci).

Możesz skonfigurować instancję VPC, a następnie możesz przypisać mały węzeł w swoim VPC roli serwera kopii zapasowej i nadać mu zarówno adres IP w sieci Amazon, jak i wewnątrz lokalnej podsieci.

Moja rada jest taka, że ​​twoje dane są Twoją odpowiedzialnością, a nie Amazonką. Jeśli utrata danych nie jest tak wielką sprawą, nie rób własnej kopii zapasowej. Jeśli tak, to weź własną kopię zapasową (przynajmniej) taniej JBOD (i regularnie weryfikuj), tak jak ja.

Dowiesz się, ile Amazon jest gotów wziąć na siebie za twoje dane, w dniu ich utraty.

Jeśli możesz sobie na to pozwolić (tak jak ja to robię), masz wszystkie moje dane przechowywane na moim serwerze, ale pobieram je z Amazon s3. Więc jeśli Amazon z jakiegoś powodu przestanie działać (dotknij drewna), mogę po prostu natychmiast pobrać wszystkie moje dane bezpośrednio z mojego serwera. Z mojego serwera robię comiesięczne kopie zapasowe na mój dysk lokalny. Ponieważ moja witryna ma ponad 2 TB w witrynie.

Chociaż jest to stary wątek, jest to pierwsza rzecz, która pojawia się podczas tworzenia kopii zapasowej Googling S3, więc pomyślałem, że dodam do tego ...

Przeprowadzając badania na ten temat, odkryłem Rclone https://rclone.org/ - jest to oprogramowanie rsync przeznaczone do kopiowania między usługami przechowywania plików w chmurze i obsługuje większość z nich. Brak przynależności i jeszcze jej nie użyłem, więc nie mogę powiedzieć, czy to dobrze, czy źle, ale pomyślałem, że to może komuś pomóc.

Wydaje mi się, że istnieje możliwość hostowanej usługi, która wykonuje kopie zapasowe plików hostowanych w chmurze „poza siedzibą” (S3, Google Storage, Rackspace Cloud Files itp.)…