Jak administratorzy zarządzają swoimi EBS i migawkami EC2?

Moja firma przenosi nasz hosting do Amazon i pracuję nad wszystkimi problemami związanymi z migracją. Przejście ze sprzętu fizycznego na przejściowe maszyny wirtualne było dużym wyzwaniem.

Jednym z ostatnich wyzwań jest znalezienie sposobu zarządzania naszym systemem EBS i migawkami. Ponieważ obecnie nie można ich nazwać opisowo ani dodać znaczenia, zastanawiam się, jak administratorzy zarządzają swoimi zasobami. Nie jest to zbyt duży problem z jednym lub dwoma serwerami, ale jak te z wieloma serwerami obsługują różne rzeczy. Czy wszyscy korzystają z narzędzi firm trzecich (takich jak RightScale / Scalr), gdy zdobywają garść serwerów? A może prowadzisz wiki lub inną pomocniczą dokumentację?

Korzystam z migawki ec2-spójnej ( http://alestic.com/2009/09/ec2-consistent-snapshot ) do robienia migawek (na Linuksie Amazona pochodzącym z RHEL / CentOS) - jest napisany w Perlu i używa bezpośrednio interfejsu API . Podajesz woluminy, które chcesz wykonać migawkę, i pozwala to dodać opis.

(W konsoli AWS możesz dodawać tagi, jeśli potrzebujesz dokładniejszej kontroli, ale dla prostej kopii zapasowej, która może nie być konieczna i nie jest jeszcze obsługiwana przez moduł Perla używany powyżej (Net :: Amazon :: EC2)).

Powyższy skrypt nie usuwa migawek (tylko tworzy nowe - konsekwentnie (tzn. Może zamrozić dysk / db przed migawką). Ponieważ jest dość powszechnie używany i nie mogłem znaleźć kompatybilnego skryptu Perla do usuwania starych migawek, które napisałem mój własny ( http://www.thatsgeeky.com/2011/06/rotating-ebs-snapshots-ec2-prune-snapshots/ ). Dobrze wykonuje zadanie (rotacja dziadek-ojciec-syn) i korzysta z tych samych zależności i parametry jak powyższy skrypt.

Oczywiście oba są ustawione na uruchamianie za pośrednictwem Crona.

(Teoretycznie powinno być łatwo podłączyć niektóre podobne skrypty (na przykład są napisane w PHP i Ruby) do bazy danych i prowadzić własny dziennik wykonanych woluminów i migawek - każda migawka ma unikalny identyfikator, więc pod warunkiem, że każda inna wewnętrzna organizacja powinna być łatwo możliwa. [Jednak do celów tworzenia kopii zapasowych identyfikator woluminu i data są często wystarczające])

Nie używaj narzędzi CLI - są napisane w Javie i są absurdalnie powolne w porównaniu do jakichkolwiek bezpośrednich implementacji API.

Stopniowo Amazon dodaje wszystkie funkcje wymagane do skutecznego zarządzania, które jest wymagane, jeśli Amazon ma się spodobać rynkowi przedsiębiorstw. Dodano tagi i nadchodzą ulepszenia umożliwiające użytkownikowi dostęp tylko do niektórych funkcji. W przyszłości na pewno będą obsługiwane skrypty i wdrażanie. Dodam te funkcje do mojego darmowego narzędzia ElastDream.

Poza pisaniem własnego narzędzia do indeksowania identyfikatorów EBS i migawek względem etykiet tekstowych, odkryłem, że korzystanie z bezpłatnego konta RightScale i przypisywanie pseudonimów jest najlepszym sposobem zarządzania naszymi woluminami i migawkami EBS.

Osobiście uważam, że niemożność przypisania łatwej do zapamiętania etykiety do instancji EC2, AMI lub woluminu jest dużą dziurą w obecnej ofercie Amazon - wydaje mi się to po prostu nietrudno.

Używam ElasticFox do zarządzania moimi migawkami (i wszystkimi moimi serwerami). Ma tagowanie, co ułatwia śledzenie, który jest który.

Korzystam również z biblioteki boto, gdy chcę robić rzeczy programowo. Jednak jeśli to zrobisz, musisz utworzyć własny magazyn danych. SQS i Sqlite to dobre opcje.

ElasticFox jest z pewnością jednym z najwygodniejszych narzędzi do (ręcznego) zarządzania EC2. Ale kluczową częścią jest - regularne obrazowanie instancji - skonfigurowanie automatycznej inicjalizacji po uruchomieniu nowej instancji: - partycjonowanie i podłączanie dysków efemerycznych - montowanie woluminu EBS, gdy jest on dostępny - przywracanie plików i baz danych z EBS, a pamięć współdzielona lub S3. - uruchom usługi (MySQL, Apache, Tomcat, nazwij to.)

Używamy szefa kuchni do zarządzania wszystkimi naszymi zasobami EC2.

Konsola AWS ma zbyt niski poziom dla wielu codziennych zadań, choć szybko się poprawia. Jeśli potrzebujesz teraz tej funkcji, musisz ugryźć pocisk i napisać własne skrypty wykorzystujące narzędzia ec2 cli do zarządzania migawkami lub użyć narzędzia innej firmy. W przypadku zarządzania woluminami EBS wspomniane są dobre, inną opcją jest narzędzie do zarządzania EBS, dzięki któremu możesz planować tworzenie kopii zapasowych, nazywać je, przywracać itp. BitNami Cloud Hosting (istnieje darmowa warstwa)

Mam własny skrypt do tworzenia rotacyjnych kopii zapasowych (dziadek - ojciec - syn) na moim blogu http://three99.com/posts/python-grandfather-father-son-snapshots-backup-for-ec2/