Jak radzisz sobie z archiwizacją danych? [Zamknięte]

9

Kopie zapasowe to jedno, ale długoterminowa archiwizacja to inna. Na przykład może być konieczne przechowywanie wiadomości e-mail przez 7 lat lub przechowywanie wszystkich danych projektu przez czas nieokreślony. Kiedyś zapisywałem archiwa na taśmie, ale potem miałem zniszczone taśmy (dyski zrywają taśmę). Więc ... napisz na 2 taśmy, słyszę, jak mówisz. Czy tak robią inni? Masz 2 (lub więcej) taśm z tymi samymi danymi w celu zapewnienia redundancji?

Ale drugim problemem jest to, że taśmy zwykle nie mogą być odczytywane przez różnych dostawców oprogramowania do tworzenia kopii zapasowych. Na przykład, jeśli przejdziesz z Arcserve -> Backup Exec -> Commvault przez 10 lat, będziesz musiał zachować wszystkie 3 systemy, aby móc przywrócić stare dane. Podobnie w przypadku sprzętu. Stare taśmy mogą nie być opatrzone kodem kreskowym. Może nie być kompatybilny z nową biblioteką itp. Więc czy zachowujesz stary sprzęt taśmowy ORAZ stare oprogramowanie na wypadek, gdybyś musiał przywrócić 10-letni plik?

Lub ... kiedy przeprowadzasz się do nowego systemu tworzenia kopii zapasowych, czy migrujesz wszystkie zarchiwizowane dane do nowego systemu i ponownie archiwizujesz je na nowych taśmach? To może być świetna robota.

jakieś pomysły?

PowerApp101
źródło
Ile danych chcesz zarchiwizować?
GreenKiwi

Odpowiedzi:

3

O ile danych mówimy? Nasze „archiwalne” dane są na tyle małe, że po prostu przechowujemy je w pamięci na żywo (na urządzeniu NAS), która jest archiwizowana ze zwykłymi danymi na żywo, więc istnieje tak jak nasze zwykłe dane i podlega tym samym technikom odzyskiwania bez martwić się o utrzymanie dziesięcioletniej technologii. Jeśli nasze dane na żywo zostaną przeniesione na nową platformę pamięci, archiwum zostanie przeniesione wraz z nim. Ustawiamy również uprawnienia do danych archiwalnych, aby tylko członek grupy bezpieczeństwa archiwów (z której jest bardzo niewielu użytkowników) miał dostęp do usuwania czegokolwiek z tych folderów.

Jeśli masz do czynienia z większą ilością danych, niż można rozsądnie przechowywać w magazynie na żywo, taśma może być najlepszym rozwiązaniem do przechowywania długoterminowego, w połączeniu z przechowywaniem co najmniej dwóch kopii w różnych kontrolowanych lokalizacjach. Wydawaj je co kilka lat, aby mieć pewność, że nośnik jest nadal czytelny, i migruj ze starszych nośników na nowe, jeśli zmieniasz dostawców, aby mieć nadal dostęp do danych.

Justin Scott
źródło
1
Archiwa mają około 3 lub 4 TB. To zbyt wiele, aby wykonać kopię zapasową w ramach zwykłej kopii zapasowej, wymagałoby to wielu dodatkowych taśm co tydzień, co jest stratą, ponieważ nigdy się nie zmienia. I tak nie mamy wolnej pamięci SAN.
PowerApp101
1
Za 3-4 TB wybrałbym kilka zewnętrznych dysków o pojemności 1,0-1,5 TB i wykonałem dwa zestawy kopii zapasowych bezpośrednio na dyskach. Seagate tworzy obudowę, która pomieści 4 dyski SATA 1 TB i umożliwi dostęp przez jedno połączenie USB. Możesz załadować dwa z nich i umieścić je w różnych lokalizacjach. Nadal wyjmuj je co roku lub dwa, aby upewnić się, że nadal działają i wymieniają dyski w razie potrzeby. W zależności od dostawcy taśmy mogą być tańsze.
Justin Scott
Tak, myślę, że jest to prawdopodobne rozwiązanie w dzisiejszych czasach taniego dysku. Chciałbym odejść od taśmy, jest to po prostu zbyt zawodne (błędy CRC, zepsuta taśma, błędy etykiety itp.).
PowerApp101
Tak, wybrałbym tę opcję. Miejsce na dysku jest obecnie tak tanie, że utrzymywanie danych w zbędnym systemie jest najlepszym rozwiązaniem.
GreenKiwi
1
Wykonanie kopii zapasowej 4 TB przez USB zajęłoby prawie 20 godzin. Czy nie masz okna, w którym można wykonać zadanie, lub, jak powiedziałeś, czy dane nigdy się nie zmieniają? Jeśli masz okno, wybrałbym coś o wyższej szybkości transmisji danych.
JohnyD,
3

W moim przypadku wykonujemy archiwa w celu nagrania na taśmę i powiem wam, dlaczego ma to dla nas sens.

Po pierwsze, oprogramowanie, którego używamy, Tivoli Storage Manager, jest praktyczne, oprogramowanie, którego będziemy używać w dającej się przewidzieć przyszłości. Moim zdaniem TSM jest czołowym ogniwem łańcucha żywnościowego pod względem oprogramowania do tworzenia kopii zapasowych dla przedsiębiorstw, więc problem przejścia na inną platformę oprogramowania jest dla nas stosunkowo niewielki.

To powiedziawszy, utrzymujemy kilka długoterminowych archiwów i mamy kilka różnych sposobów na zrobienie tego. Na szczęście dla nas korzystamy z niektórych najnowszych technologii taśm, które mogą przechowywać do 1 TB na kasetę, więc posiadanie dużej ilości archiwów w bibliotece nie stanowi problemu.

  • Archiwizuj na lokalnych taśmach i kopiuj te archiwa do naszego alternatywnego centrum danych, przy czym taśmy archiwalne znajdują się w bibliotece taśm.

Robimy to w przypadku niektórych typów danych, ponieważ dane są regularnie przywracane i są wystarczająco ważne, aby wymagać dwóch kopii.

  • Archiwizuj na lokalnych taśmach, ale nie na taśmach zdalnych, i pozostaw taśmy wewnątrz biblioteki.

Robimy to dla nieco mniej ważnych danych, z których należy przywracać w dość regularny sposób.

  • Zarchiwizuj na lokalnej taśmie i wyślij je poza miejsce przechowywania.

Powyższe praktyki sprawdziły się dla nas całkiem dobrze w przeszłości. Przeprowadziliśmy migrację do zupełnie innej technologii taśm kilka lat temu i przenoszenie danych było trochę pracy, ale tak naprawdę to nie była wielka sprawa. W TSM było dosłownie jedno polecenie na archiwum o wartości serwera i działało. Uruchomienie może potrwać kilka dni, ale dla nikogo nie był to czynny wysiłek.

Fala przyszłości to oczywiście pamięć dyskowa.

Jak tylko nadarzy się okazja, będę kolokować macierz dyskową w bezpiecznym miejscu do przechowywania i kopiować archiwa typu kontroli długoterminowej na takie urządzenie.

WerkkreW
źródło
Dobre pomysły. W rzeczywistości mamy podobną konfigurację. Mamy 2 zdalne urządzenia z bibliotekami taśm. Używamy Commvault, podobnie jak TSM. Chodzi o to, jak zdefiniować „nieco mniej ważne dane”. To jest ważne dla kogoś! Może to mieć kluczowe znaczenie dla biznesu, bez Twojej wiedzy.
PowerApp101
Na macierzy dyskowej warto spojrzeć na ZFS na Solarisie lub NetApp, które regularnie weryfikują sumy kontrolne na blok, znacznie zmniejszając ryzyko zgnilizny bitów. Każde podejście do archiwizacji, które nie uwzględnia rotacji bitów, wydaje mi się niewystarczające.
RichVel
0

Możesz także spojrzeć na rozwiązanie takie jak Data Domain (obecnie NetApp) . Archiwizują i wykonują zaawansowaną kompresję, którą nazywają DeDupe, dzięki czemu szukają podobnych fragmentów danych i uzyskują bardzo wysoki współczynnik kompresji.

Jakie dane próbujesz wykonać? Czy to wszystkie „losowe” dane, takie jak wideo lub muzyka? Czy są to dane, które mogą się kompresować?

GreenKiwi
źródło
Podejrzewam, że kosztowałoby to zbyt wiele, jak Avamar. Korzystamy z oprogramowania Commvault, które robi również DeDupe, jeśli wydajesz dolary, których nie mamy. Cholera, GFC!
PowerApp101
0

Przejdź do przodu dzięki nowemu rozwiązaniu do archiwizacji i przechowuj taśmy tak długo, jak potrzebujesz tych danych. Jeśli potrzebujesz go na stałe, możesz rozważyć migrację na dysk. Dzięki kopiom zapasowym dysku migracja na przyszłe nośniki jest zdecydowanie łatwiejsza.

Za rok, a może za 2 lata, możesz zacząć odrażać taśmy, jeśli te kopie zapasowe nie są już potrzebne.

Reimplementacja to ogromne przedsięwzięcie, jeśli czas rozwiąże dla ciebie problem. Wykonaj analizę kosztów, jeśli masz koszty związane z przechowywaniem kopii zapasowych i / lub licencji oprogramowania do pracy z nimi.

Martin Murphy
źródło
0

Twoim problemem z archiwizacją danych, aby uprościć swoją zagadkę, wydaje się być w przyszłości kompatybilność starych taśm z nowym sprzętem.

Moje rozwiązanie: wybierz tylko jednego dostawcę z kompletnym rozwiązaniem (oprogramowanie i sprzęt), któremu ufasz, że zrobi wszystko, aby zaoferować starszą kompatybilność.

I oczywiście otrzymaj bardzo dobry kontrakt pod względem ceny, biorąc pod uwagę twoją wierność;)


źródło