Czy mogę użyć rsync do tworzenia kopii zapasowych w Amazon S3

17

Kupiłem trochę miejsca w evbackup, który zapewnia mi FTP, rsync i SSH. Ale przeczytałem również, że Amazon S3 może być również używany do tworzenia kopii zapasowych.

Jestem naprawdę zdezorientowany, że Amazon daje FTP dostęp do przesyłania plików do kopii zapasowej.

Jak mogę pobrać te pliki?

Wiele razy czytałem ich witrynę, ale nie mogłem zrozumieć, jak działa ich system. Chcę tylko wykonać kopię zapasową katalogu domowego użytkowników

backup ftp amazon-s3 Miraż
źródło

Odpowiedzi:

24

Nie, nie można używać rsyncdo przesyłania plików do Amazon. Używa własnego protokołu dla usługi. Ale możesz uzyskać dostęp do ich pamięci za pośrednictwem usług stron trzecich, takich jak www.s3rsync.com , wtedy będziesz mógł z nich korzystać rsync, a twoje dane zostaną ostatecznie przesłane do pamięci S3.

Lub możesz użyć specjalnych narzędzi zaprojektowanych do przechowywania S3. Istnieją: s3sync , s3command , s3cp , tarsnap (tarsnap to usługa strony trzeciej, jak s3rsync).

Kolejne narzędzie podobne do rsync duplicity, obsługuje pamięć S3 jako backend, a także wiele innych backendów kopii zapasowych, w tym RackSpace Cloud Files (kolejna usługa przechowywania w chmurze, wyceniona podobnie jak Amazon S3).

Kopia zapasowa do S3:

duplicity /home/me s3+http://bucketname/prefix

lub do plików w chmurze Rackspace:

duplicity /home/me cf+http://container_name
sastanina
źródło
dzięki za to też nie mogłem zrozumieć ich modelu danych. Sprawdzałem ich ceny i zawsze podają przepustowość. 0,18 centa za transfer danych GB. Załóżmy, że przesłałem tam 50 GB danych w celu wykonania kopii zapasowej, a potem nic nie robię. Więc ile będą pobierać, jeśli nie zrobię żadnego transferu. nie mogłem znaleźć miejsca, w którym stwierdziliby, ile miejsca dają 50 USD za dysk twardy o pojemności 50 GB
Mirage
@Moorage: Amazon pobiera opłaty zarówno za przechowywanie (od 0,14 USD / GB miesięcznie), jak i za transfer (0,1 USD / GB za transfer). Więc za 50 GB płacisz 7 USD miesięcznie, jeśli nie masz dostępu do tych danych. Istnieją również RackSpace Cloud Files, która jest podobną usługą.
sastanin
dwulicowość wygląda bardzo ładnie. Chciałbym to zobaczyć przed napisaniem własnego klonu rsync. Jeśli dwulicowość jest dla ciebie zbyt skomplikowana, sprawdź moje proste opakowanie podobne do rsync dla boto: github.com/seedifferently/boto_rsync
Seth
1
PS Nigdy nie korzystałem z duplikatu, ale jeden z moich przyjaciół zgłosił zepsute kopie zapasowe. Używaj ostrożnie.
sastanin
Możesz także wypróbować klienta minio [ github.com/minio/mc ] aka mc. Możesz użyć polecenia [mc mirror], aby wykonać kopię lustrzaną folderu lokalnego za pomocą segmentu S3.
user52692,
5

Oficjalny interfejs wiersza poleceń Amazon działał dobrze dla mnie. Może synchronizować z lokalnego do segmentu S3, a także synchronizować z segmentu S3 z powrotem do plików lokalnych.

1) zainstaluj interfejs wiersza polecenia Amazon z https://aws.amazon.com/cli/

2) z muszli,

export AWS_ACCESS_KEY_ID=(access key here)
export AWS_SECRET_ACCESS_KEY=(secret key here)
export AWS_DEFAULT_REGION=(region here)
cd dirtoupload
aws s3 sync . s3://nameOfBucket

Bardziej przydatne opcje, takie jak --dryrun i --delete (do kopii lustrzanej) wymienione na stronie http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html .

jmnben
źródło
4

Możesz po prostu zamontować swój segment lokalnie za pomocą s3fs, a następnie użyć rsync, aby skopiować do tego punktu montowania.

GJ
źródło
2
Brzmi zabawnie, ale na pewno byłoby to lokalne czytanie, aby porównać skróty, co przeczy celowi rsync ... Nie?
David Fraser
0

Jungle Disk to prosty sposób na tworzenie kopii zapasowych plików na Amazon S3 (subskrypcja obejmująca konto S3, ale możesz użyć dowolnego innego konta AWS). Być może zechcesz także zajrzeć do Super Elastycznego (tylko oprogramowanie).

paradroid
źródło