Czy migawki + RAID liczą się jako dobre rozwiązanie do tworzenia kopii zapasowych na miejscu?

19

Dwa główne powody, dla których mogę wymyślić tworzenie kopii zapasowych, wydają się rozwiązywane, gdy używam zarówno migawek, jak i RAID razem z btrfs. (Przez RAID tutaj mam na myśli RAID1 lub 10)

  • Przypadkowe usunięcie danych: Migawki dotyczą tej sprawy
  • Awaria napędu i zgnilizna bitów
    • Całkowita awaria: RAID obejmuje tę sprawę
    • Napęd zwracający złe dane: ta funkcja naprawia błędy RAID + btrfs

Więc jako rozwiązanie do tworzenia kopii zapasowych na miejscu wydaje się działać dobrze i nie wymaga nawet oddzielnego urządzenia do przechowywania danych!

Jednak słyszałem, że zarówno RAID, jak i migawki nie są uważane za prawidłowe kopie zapasowe, więc zastanawiam się, czy coś przeoczyłem.

Oprócz tego, że btrfs nie są jeszcze dojrzałą technologią, możesz pomyśleć o czymś, co przegapiłem? Czy moje myślenie jest prawidłowe i czy jest to prawidłowe rozwiązanie do tworzenia kopii zapasowych na miejscu?

小 太郎
źródło
2
Robimy to samo co Ty: RAID 5 z Shadow Copy; jednak mamy również dwa zewnętrzne dyski twarde USB, których kopie zapasowe są wykonywane przy użyciu Robocopy co noc (obracaj dyski dwa razy w tygodniu, aby jeden zawsze był poza siedzibą). Zapewnia nam to również kopie zapasowe do odzyskiwania po awarii, ale nie długoterminowe archiwa, których nasza mała organizacja tak naprawdę nie potrzebuje. Powinieneś uaktualnić, aby mieć przynajmniej kopię danych poza serwerem na serwerze, tak jakby matryca RAID umarła, stracisz również migawki.
Austin „Danger” Powers
Jeśli chcesz dowiedzieć się, czy możliwe jest uszkodzenie macierzy RAID jako całości, uderz jednym młotem i spróbuj odzyskać swoje dane. Istnieje cała klasa złych rzeczy, które mogą wyjąć całe pudełko bez wyjmowania całej witryny. To powiedziawszy, jeśli twoje kopie zapasowe na miejscu są tylko wygodą, która może zaoszczędzić ci wolniejszego odzyskiwania po kopiach zewnętrznych, to w zasadzie mogą być tak złe, jak chcesz.
Steve Jessop
Tak, mamy już kopie zapasowe poza witryną i bardziej „tradycyjne” rozwiązanie na miejscu. Powód, dla którego zadałem to pytanie, ponieważ czytałem o funkcjach btrfs i ZFS, i zastanawiałem się, czy będzie to odpowiednie jako zamiennik kopii zapasowych na miejscu.
小 太郎

Odpowiedzi:

42

Nie, nie jest.

Co się stanie, gdy twój system plików lub wolumin RAID zostanie uszkodzony? A może twój serwer się pali? A może ktoś przypadkowo sformatował niewłaściwą tablicę?

Tracisz wszystkie swoje dane i nierealne kopie zapasowe, o których myślałeś, że je masz. Dlatego prawdziwe kopie zapasowe są w zupełnie innym systemie niż dane, których kopie zapasowe wykonujesz - ponieważ kopie zapasowe chronią przed czymś, co dzieje się w danym systemie, co mogłoby spowodować utratę danych. Trzymaj kopie zapasowe w tym samym systemie, w którym tworzona jest kopia zapasowa, a utrata danych w tym systemie może mieć również wpływ na „kopie zapasowe”.

Beznadziejny
źródło
Co powiesz na to rozwiązanie, skoro często na nie wpadam? Czy lokalne migawki + zdalne migawki na innym serwerze (u klienta lub poza nim) + RAID w obu systemach zastępują tradycyjne kopie zapasowe?
ewwhite
5
@ewwhite Zakładając, że zostały przetestowane pod kątem przywracania, a pełna kopia danych istnieje w systemie zdalnym, na pewno. Potem jest to w zasadzie kopia zapasowa z dysku na dysk ... i uwielbiam kopie zapasowe z dysku na dysk.
HopelessN00b
11

Do tworzenia kopii zapasowych na miejscu migawka może być wystarczająca, pod warunkiem, że regularnie „eksportujesz” swoją migawkę gdzie indziej, gdzie istnieje ona jako dane pasywne.

Regularnie sprawdzaj, czy „przywróconą migawkę” można przywrócić.

W ten sposób wdrożyłem szybką kopię zapasową niektórych moich serwerów: przechowuj dane w ZFS, weź migawkę ZFS, wyślij deltę na inny serwer, na którym cały system plików jest ponownie tworzony (bez faktycznej uruchomionej usługi).

Oczywiście najlepsza kopia zapasowa jest zawsze poza witryną. Dlatego po „wysyłaniu” migawek do osobnego systemu regularnie wykonuj „taśmowanie” migawek.

Tak więc w moim systemie serwer, który odbiera delty migawek, regularnie zrzuca wszystkie swoje pule ZFS (w tym wcześniejsze migawki) na taśmę.

I oczywiście przetestuj swoje taśmy, aby upewnić się, że można je przywrócić.

Uwaga: Chcesz, aby migawka miała miejsce podczas wyłączonej aktywności dysku, a najlepiej w koordynacji z bazą danych (jeśli istnieje), aby zapewnić spójność; w przeciwnym razie lekarstwo może być gorsze niż choroba. Właśnie dlatego funkcja „migawki na żywo” NetApp i EMC jest bardzo przydatna: odłożą migawkę jednostki LUN, dopóki baza danych korzystająca z jednostki LUN nie wskaże, że można bezpiecznie wykonać migawkę.

pepoluan
źródło
Czy możesz rozwinąć sposób, w jaki zrzucasz migawki ZFS na taśmę?
ewwhite
@ewwhite zawsze możesz wykonać kopię zapasową .zfs/snapshotskatalogu lub zamontować jedną z migawek w innym miejscu, aby wykonać taśmę. Jest to więc osobna kopia zapasowa dla różnych migawek.
pepoluan
Robię to za pomocą Zvols, właściwie ... więc nie mam katalogu .zfs, do którego można by się dostać cd.
ewwhite
@ewwhite Ach, rozumiem ... w tym przypadku, może być w stanie wykorzystać zfs send $SNAPSHOT_NAME > $YOUR_TAPE_DEVICE, a później zrobić zfs receive $RESTORE_NAME < $YOUR_TAPE_DEVICE. Jednak szczerze mówiąc, nie mam doświadczenia w tworzeniu kopii zapasowych plików Zvols, ale ...
pepoluan
8

Co powiedział HopelessN00b. Nie.

Odpowiednie kopie zapasowe znajdują się na oddzielnym urządzeniu niż urządzenie, którego kopię zapasową wykonujesz. Co się stanie, gdy stracisz dwa lub więcej dysków? Co się stanie, gdy Twoja serwerownia spłonie? Co się stanie, gdy ktoś przypadkowo zniszczy tablicę?

(Alert anegdoty: Kiedyś słyszałem o kimś, kto PXE ustawił się na automatyczną instalację najnowszej Fedory. Jego UPS zawiódł. Po awarii zasilania jego serwer uruchomił się ponownie i został ustawiony na rozruch PXE i ... zainstalował Fedorę na swoich danych. Mój punkt? Dziwne rzeczy się zdarzają. Na szczęście miał odpowiednie kopie zapasowe.)

Najlepiej, jeśli masz co najmniej trzy kopie danych, z których jedna jest przechowywana całkowicie poza siedzibą na wypadek, gdyby centrum danych uległo spaleniu.

Katherine Villyard
źródło
6

Właściwie zaimplementowane migawki MUSZĄ być obsługiwane przez pamięć masową, ponieważ przyzwoite kopie zapasowe wykorzystują je jako pierwszy etap tworzenia zadania kopii zapasowej. Jednak używanie migawek do podstawowej kopii zapasowej jest złym pomysłem. Powody:

1) Migawki i pamięć wewnętrznej bazy danych mogą się nie powieść. Tak więc rzeczywiste kopie zapasowe muszą używać osobnego zestawu wrzecion, w przeciwnym razie istnieje duża szansa na utratę zarówno podstawowego zestawu roboczego, jak i danych kopii zapasowej @ w tym samym czasie.

2) Migawki „przeżuwają” powierzchnię użytkową. Rozsądne jest stosowanie drogiego i szybkiego przechowywania bieżących gorących danych oraz zrzutów obrazu i kopii zapasowych, które są lodowatymi danymi dla niektórych tańszych i wolniejszych pamięci. Działa bardzo dobrze z 1) BTW.

3) Migawki zwykle spowalniają cały proces. Większość systemów korzysta z funkcji Kopiuj przy zapisie, a to podejście powoduje fragmentację. Przekierowanie na zapis jest szybsze, ale zjada DUŻO miejsca. Bardzo niewielu dostawców poprawnie wdrożyło migawki. NetApp z WAFL i Nimble Storage z CASL (nie jestem związany z żadnym z nich). Prawie wszyscy mają problemy. Na przykład Dell Equallogic wyzwala aktualizację strony o wielkości 15 MB (i marnotrawstwo) na każdym zmienionym bajcie. To jest drogie.

BaronSamedi1958
źródło
6

Tak to jest. Jest to idealny sposób na przechowywanie kopii zapasowych. Nic więcej nie jest potrzebne, do cholery, nawet sprawdzanie integralności to tylko zmarnowany czas.

Tylko dla potwierdzenia - zanim dam więcej rad ... pracujesz dla mojego konkurenta, prawda? Naprawdę, prawda? Nie? O.

Przepraszam, NUTS. Nie, wcale nie. Przepraszam stary.

Problem polega na tym, że jesteś całkowicie otwarty na wszelkie błędy występujące w (a) systemie i (b) na poziomie systemu operacyjnego. Zasadniczo chronisz tylko przed usunięciem niektórych danych. Ładny. To jest często występujący błąd.

To, przed czym nie chronisz, to:

  • Skok mocy usuwający maszynę. Byłem tam, widziałem to.
  • Uszkodzony kontroler RAID lub pamięć zapisująca sh ** na płycie - wszystko idzie.

I długa lista innych rzeczy.

Oczywiście - chyba że pracujesz dla mojego konkurenta - zawsze wykonaj kopię zapasową:

  • Na innym komputerze
  • Że izolujesz się przynajmniej od skoków mocy (nawet jeśli masz USV).

Dlatego taśmy kołyszą się - nie są ze sobą połączone i nic, co spowoduje krótki pożar lub powódź, nie skrzywdzi ich. Skok mocy - pojawia się czytnik taśm i może robot, ale nie ma to wpływu na taśmy nie w czytniku.

NAJLEPSZE byłyby kopie zapasowe poza siedzibą (czy wspominałem już o takich rzeczach, jak pożar i powódź?) (Ponownie, gdy pracujesz dla konkurencji - nie ma czegoś takiego jak pożar w budynku, nie jest to całkowicie potrzebne, podobnie jak ubezpieczenie od ognia, proszę, oszczędzaj te pieniądze).

Teraz możesz pomyśleć „och, powódź nigdy się nie zdarza”. Upewnij się, że jesteś pewien. Zobacz, oto wideo z zalania centrum danych vodaphone z 09.09.09. Jestem pewien, że zrozumiesz, gdzie jest problem z kopią zapasową w miejscu / na komputerze:

http://www.youtube.com/watch?v=ttcQy3bCiiU

TomTom
źródło
Huragan Sandy fotki: theverge.com/2012/11/17/3655442/...
Katherine Villyard
4

Wnioski wyciągnięte z dwóch dysków RAID-1, które ulegają awarii w ciągu pół godziny od siebie: RAID nie jest mechanizmem tworzenia kopii zapasowych, w żaden sposób, w żadnym kształcie ani formie.

RAID to mechanizm dostępności, który zmniejsza przestoje w przypadku awarii sprzętu, ale nie pomoże w ogóle np. W przypadku wirusów, usuwania / modyfikacji danych lub zwykłej katastrofalnej awarii sprzętu.

Michael Stum
źródło
1
W przypadku niektórych klas awarii sprzętu. Jeśli karta RAID ulegnie awarii, pojemniki znikną.
mfinni
3

Wielu doświadczonych administratorów stosuje zasady tworzenia kopii zapasowych 3-2-1:

  • Powinieneś mieć co najmniej trzy kopie danych, w tym podstawowe źródło. Czyli pojedyncza kopia zapasowa nie wystarczy, a kopie w tym samym systemie fizycznym się nie liczą.

  • Powinieneś używać co najmniej dwóch różnych metod tworzenia kopii zapasowych.

  • Powinieneś mieć co najmniej jedną kopię swoich danych poza witryną.

Migawki naruszają wszystkie trzy części:

  • Używasz tylko jednej fizycznej maszyny. Wszystko, co wpływa na cały komputer, na przykład awaria zasilacza, może zabrać ze sobą wszystkie dane.

  • Używasz tylko jednej metody do tworzenia kopii zapasowych. Jeśli coś jest nie tak, dowiesz się tylko podczas przywracania kopii zapasowej w sytuacji kryzysowej.

  • Nie masz kopii zapasowych poza witryną. Powodzie i pożary zdarzają się tylko innym, dopóki nie przytrafią się tobie ...

W związku z tym:

  • Musisz mieć co najmniej jedną kopię zapasową na osobnym komputerze w sieci LAN.

  • Musisz mieć co najmniej jedną kopię zapasową, która nie jest generowana przy użyciu migawek. Być może stare dobre tararchiwum przyrostowe może być w porządku? Lub rsynckopia oparta?

  • Musisz mieć co najmniej jedną zdalną kopię zapasową, jak najdalej od aktualnej lokalizacji i zdecydowanie nie w tym samym budynku.

Należy również zauważyć, że migawki na poziomie bloku mają mniej więcej taką samą gwarancję spójności, jak wyciąganie wtyczki z komputera, a następnie kopiowanie na dyskach. Ogólnie rzecz biorąc, musisz uruchomić fsckpo przywróceniu lub mieć nadzieję, że dziennik wystarczy.

Migawki na poziomie systemu plików powinny być lepsze, ale nadal nie gwarantowałyby spójności plików. W przypadku wielu aplikacji (przychodzą na myśl serwery baz danych) kopiowanie plików instancji na żywo może być całkowicie bezużyteczne, ponieważ mogą znajdować się w niespójnym stanie. Będziesz musiał użyć własnego mechanizmu tworzenia kopii zapasowych na poziomie aplikacji, aby zapewnić istnienie czystej kopii - do której obowiązywałaby również reguła 3-2-1.

Na koniec pamiętaj, że w tej chwili mówimy tylko o kopiach twoich bieżących danych. Aby uchronić się przed awariami (lub naruszeniami bezpieczeństwa), które pozostają niewykryte przez pewien czas, musisz również mieć kilka poprzednich kopii swoich danych przez dość długi czas.

thkala
źródło
Zakładając, że migawki btrfs są jak snapshoty ZFS pod względem gwarancji spójności (i przy jakiej inspiracji btrfs czerpie z ZFS, nie rozumiem, dlaczego tak nie jest), migawka będzie reprezentować moment na dysku na dysku dane czasowe. System plików będzie więc w spójnym stanie, jeśli przywrócisz do migawki, ale jeśli dane są przechowywane w pamięci RAM i tylko okresowo czyszczone, a dane te są potrzebne, aby zrozumieć, co jest na dysku (patrz oprogramowanie serwera bazy danych), to te konkretne pliki najprawdopodobniej będą w niespójnym stanie po (lub przed!) wycofaniu.
CVn
2

Samo w sobie nie jest to rozwiązanie zapasowe . Będzie to zmniejszyć lub usunąć przestojów w niektórych sytuacjach awaryjnych, ale nie chroni cię w ogóle od wielu innych

Może to oczywiście być bardzo cenną częścią bardziej kompleksowego rozwiązania w zakresie dostępności i tworzenia kopii zapasowych:

  • Migawki RAID plus na tym samym sprzęcie
  • Kopie na miejscu na innym sprzęcie (pamiętaj: istnieją tryby awarii, które usuwają całe urządzenie, kontroler, dyski i wszystko za jednym razem)
  • Częściowo odłączone zdalne kopie
  • i oczywiście odpowiednie kopie offline + offsite dla prawdziwych katastrof

Ponadto: pamiętaj o regularnym testowaniu kopii zapasowych. Najgorszy moment, aby odkryć, że kopie zapasowe nie działają, to konieczność odzyskania czegoś z nich ...

David Spillett
źródło