Jestem zainteresowany wykorzystaniem Amazon S3 do tworzenia kopii zapasowych obrazów naszego serwera ~ 100 GB (utworzonych za pomocą narzędzi do tworzenia kopii zapasowych Acronis)
Oczywiście przesyłanie do S3 każdej nocy byłoby kosztowne, zarówno pod względem przepustowości, jak i kosztów. Zastanawiam się nad użyciem rsync z S3 i natknąłem się na s3rsync. Zastanawiałem się tylko, czy ktoś miał jakieś doświadczenie w korzystaniu z tego lub innego narzędzia?
Odpowiedzi:
Niedawno natknąłem się na ten wątek w Google i wygląda na to, że krajobraz nieco się zmienił od czasu zadania pytania. Większość zaproponowanych tutaj rozwiązań nie jest już obsługiwana lub stała się komercyjna.
Po frustracjach związanych z FUSE i innymi dostępnymi rozwiązaniami, zdecydowałem się napisać własny wiersz rsync „klon” dla S3 i Google Storage przy użyciu Pythona.
Możesz sprawdzić projekt na GitHub: http://github.com/seedifferently/boto_rsync
Innym projektem, o którym niedawno dowiedziałem się, jest „dwulicowość”. Wygląda nieco bardziej rozbudowany i można go znaleźć tutaj: http://duplicity.nongnu.org/
Mam nadzieję że to pomoże.
AKTUALIZACJA
Zespół Python z AWS ciężko pracuje nad opartym na boto projektem CLI dla swoich usług w chmurze. Wśród dołączonych narzędzi jest interfejs dla S3, który powiela (i pod wieloma względami zastępuje) większość funkcji udostępnianych przez boto-rsync:
https://github.com/aws/aws-cli
W szczególności
sync
polecenie można skonfigurować tak, aby działało prawie dokładnie tak jak rsync:http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
źródło
Miałem też szczęście z S3cmd i S3sync , które są darmowe.
źródło
W zależności od tego, jak tworzone są obrazy Acronis, nie jestem pewien, czy jakikolwiek program rsync zaoszczędziłby przepustowość. Obrazy Acronis są pojedynczymi plikami, więc rsync nie byłby w stanie odczytać w nich tylko kopii zapasowej zmian. Nie jestem również pewien, jakie obrazy serwera tworzysz, ale skoro powiedziałeś, że 100 GB, założę, że jest pełny? Obraz przyrostowy znacznie zmniejszyłby nocny rozmiar obrazu, oszczędzając w ten sposób przepustowość. Możesz również rozważyć zapisanie obrazów w alternatywnej lokalizacji niż S3, na przykład na taśmie, i przechowywać je poza witryną.
źródło
Nigdy nie próbowałem S3rsync.
Używam duplikatów do tworzenia kopii zapasowych poza witryną. Obsługuje przyrostowe kopie zapasowe na S3, chociaż tak naprawdę nie oszczędza przepustowości ze względu na protokół pamięci Amazon S3, w którym jakakolwiek modyfikacja pliku zmusza do ponownego przesłania całego nowego pliku. W każdym razie duplikat przesyła tylko różnice od ostatniej przyrostowej kopii zapasowej.
Dzięki Duplicity nie będziesz musiał przechodzić przez inny serwer, jak S3sync, jednak jeśli zaszyfrujesz swoje dane, warto spróbować S3sync.
źródło
S3 ma również dodatkową usługę o nazwie AWS Import / Export, która pozwala wysłać dysk USB z początkowym zestawem danych 100 Gb i załaduje go do chmury S3 za pomocą narzędzi zaplecza w ich centrach danych. Gdy już znajdziesz 100 Gb, możesz każdej nocy wykonywać kopie zapasowe różnicowe, aby wykonać kopię zapasową wszystkiego, co się zmieniło.
Strona jest http://aws.amazon.com/importexport/
Jeśli większość twoich danych jest dość statyczna, byłaby to dobra opcja, jeśli całe 100 Gb danych zmienia się codziennie, to ci to nie pomoże.
źródło
Możesz wypróbować klienta minio, znanego również jako „mc”. mc zapewnia minimalne narzędzia do pracy z systemami pamięci masowej i systemami plików zgodnymi z Amazon S3.
mc implementuje następujące polecenia
Możesz użyć polecenia mirror, aby wykonać operację. „localdir” to katalog lokalny i S3 [alias dla Amazon S3] oraz „remoteDir” nazwa twojego segmentu na S3.
Możesz również napisać cronjob dla tego samego. Również w przypadku oburzenia sieci możesz użyć „$ mc session”, aby ponownie rozpocząć przesyłanie od tego określonego czasu.
PS: Wnoszę wkład w projekt minio i chciałbym uzyskać Twoją opinię i wkład. Mam nadzieję, że to pomoże.
źródło
Nowa wersja Jungle Disk Server Edition (beta) może Ci się przydać. Ma funkcję usuwania duplikatów na poziomie bloków, więc jeśli obrazy Acronis mają ze sobą coś wspólnego, znacznie zmniejszy to ilość kopii zapasowej. Funkcje są idealne do tworzenia kopii zapasowych serwerów. Sprawdź informacje o wersji.
Testuję wersję beta od dwóch tygodni i oprócz kilku drobnych problemów z GUI, które z pewnością zostaną naprawione w finale, jestem podekscytowany produktem.
źródło