Jaki jest najbezpieczniejszy i najtańszy sposób przechowywania 10 terabajtów danych?

19

Jestem członkiem firmy produkcyjnej i przygotowujemy się do naszego pierwszego filmu fabularnego. Dyskutowaliśmy o metodach przechowywania danych, aby zapewnić bezpieczeństwo całej naszej oryginalnej treści (tak długo, jak to możliwe). Rozumiemy, że dane nigdy nie są w 100% bezpieczne, ale chcielibyśmy znaleźć dla nas najbezpieczniejsze rozwiązanie.

Rozważaliśmy:

  • 16 TB NAS do przechowywania na miejscu

  • Dyski twarde 4-5 2 TB (tanie, ale nie zbędne), skopiuj oryginalne nagrania na dyski, a następnie zapakuj w bezpłatną torbę statyczną

  • Nagrywaj dane na dyski Blu-Ray (czasochłonne i drogie: 200 dysków == 5000 USD)

  • Napędy taśmowe?

Wiem najmniej o napędach taśmowych, poza tym, że są bardziej niezawodne niż dyski. Każde doświadczenie / wiedza z taką ilością danych jest bardzo mile widziane.

Josh T.
źródło
1
Nie zapomnij powiedzieć im, aby nie próbowali wieszać ich za pomocą super silnych magnesów. Zły dla napędów dyskietek, NAPRAWDĘ ZŁY dla dysków twardych ...
Hello71,
2
To nie jest odpowiedź, ale być może jest dla ciebie interesująca: blog.backblaze.com/2009/09/01/…
Bobby
Co powiesz na korzystanie z DiamonDisc DVD's tomsguide.com/us/ ... Wiem, trochę drogo.
Moab

Odpowiedzi:

14

Zakłada się, że wybierasz archiwum zamiast zwykłej kopii zapasowej lub danych na żywo.

Wybierz zestaw dysków twardych SATA (1 lub 2 TB) oraz kilka dodatków. Skopiuj dane na dyski. Użyj QuickPar (lub archiwizatora, który obsługuje woluminy parzystości), aby utworzyć dodatkowe pliki parzystości. Dystrybucja plików parzystości między dyskami twardymi.

Informacje o parzystości pozwolą Ci zrekonstruować pliki, jeśli masz wystarczająco dużo plików parzystości. Więc jeśli jeden dysk umrze, ale inne dyski z informacjami o parzystości nadal działają, możesz użyć plików parzystości do odtworzenia oryginału.

Aby uzyskać więcej redundancji, zrób to wszystko dwa razy i przechowuj w osobnych lokalizacjach.

Jeśli jesteś naprawdę paranoikiem, przechowuj także PCI i PCI Express do kontrolera SATA w każdym miejscu!

Edycja: Cholera, jeśli chodzi tylko o paranoję, idź na całość i przechowuj komputer z gigabitową siecią Ethernet na każdej stronie, która może czytać dyski!

ligos
źródło
10
+1 Chyba skutecznie zdefiniowane i ukuł nowy zespół: dataparanoidism. ; P
jrista
Zdecydowanie kupując dwa razy więcej dysków twardych i dwukrotnie kopiując wszystkie dane w celu uzyskania redundancji, dzięki!
Josh T
jeśli chodzi o aspekt „naprawdę paranoiczny”, myślę, że adapter sata usb będzie prawdopodobnie użyteczny przez wiele lat w przyszłości niż złącze specyficzne dla technologii płyty głównej (np. PCI, PCI-E), choć wolniejsze.
matt wilkie
9

Napędy LTO4, których używamy, mogą mieć pojemność 800 GB na taśmę. Minusem jest koszt samych napędów. Jeśli zastanowiłeś się nad 5 000 $ za dyski Blu-Ray, nie spodoba ci się koszt LTO4. Z drugiej strony same karty są dość tanie w przeliczeniu na GB, więc możesz przechowywać wiele kopii. Te taśmy mają dobry okres przydatności do użycia, ale musisz wymienić je na nowe nośniki podczas wymiany napędu taśmowego. Z tego, jak opisujesz, jak zamierzasz korzystać z tego magazynu, nie sądzę, aby taśma dobrze pasowała. Nie, chyba że będzie to rozwiązanie zapasowe zamiast archiwizacyjnego . Różne problemy.

Możesz rozważyć tego rodzaju dostawcę kopii zapasowych w chmurze, jeśli Twoja codzienna zmiana sieci jest wystarczająco mała. Oczywiście zależy to od tego, jak mocne jest twoje połączenie internetowe, a przywrócenie z niego może być równie bolesne. Usługi te są dość nowe, więc nie wiadomo, jak radzą sobie z problemem bankructwa danych; co się stanie, jeśli przestaną działać?

Lokalna pamięć dyskowa jest zdecydowanie najlepszym rozwiązaniem. Obudowa napędu z łatwo wymienialnymi napędami jest prawdopodobnie najlepszym rozwiązaniem, biorąc pod uwagę ograniczenia kosztów. Jeśli możesz żyć z tymi danymi offline, skorzystaj z nich. Dyski są tanie, a obudowy dysków tańsze niż napędy taśmowe. Mniej ruchomych części.


Zakładam, że potrzebujesz tego do archiwizacji, a nie do aktywnego użycia w roli wideo. Jeśli tak, to inny problem z pamięcią.

SysAdmin1138
źródło
LTO5 jest teraz 1,5TO. Nie jestem pewnie skompresowany czy nie, ale na pewno 1.5!
r0ca
2
Zdecydowanie polecam wybranie tej trasy. Koszt jednorazowy jest nieco wysoki (5500 USD), ale jeśli jesteś w nim długoterminowo, 90% tego kosztu dotyczy dysku; każda z taśm kosztuje 100 USD i z czasem może spaść. Ponadto możesz transportować z niewielkim ryzykiem uszkodzenia i przechowywać je w sejfie lub podobnym, również o niskim ryzyku. Ponadto jest nieskompresowany 1,5T, skompresowany 3T przy 2: 1.
Slartibartfast
1
FWIW, LTO4 obecnie kosztuje około ~ 40 USD / sztukę CAD / USD. LTO5 działa ok. 120 USD / sztukę CAD / USD. (Źródło: CDW)
Chealion
Tak, ale same napędy taśm działają w połowie tysięcy. Widzę jeden na NewEgg za 3700 $.
SysAdmin1138,
3

Czy w swoich badaniach NAS spojrzałeś na samodzielnie zarządzane urządzenia pamięci masowej DroboPro lub DroboElite ?

Zastanów się, jaki byłby koszt, gdybyś odpowiednio stracił część / całość materiału i budżetu;)

Josh Newman
źródło
2

Czy rozważałeś usługi hostowane? Nie jestem pewien, jak ważona jest cena, ale możesz rozważyć usługę hostingową, która sprzedaje pamięć masową. Może AWS ?

nicorellius
źródło
2
Podając tylko liczby, 10 TB na Amazon S3 kosztuje 1500 USD miesięcznie . Istnieje również opcja „wartości” przy 1000 USD / m, zwana zmniejszoną redundancją.
hyperslug
Ahh, dobrze wiedzieć - dzięki za dane.
nicorellius
Ale jest też Amazon Glacier, który jest znacznie tańszy niż pamięć S3 (za 10 TB 70 USD / miesiąc). Odzyskiwanie zajmuje dużo czasu i jest kosztowne, jeśli trzeba to zrobić dużo.
Chris
2

Od ośmiu do dziesięciu dysków twardych 2 TB; zrobić dwa zestawy. Przechowuj, jak już wspomniano, osobno ...

Trzymałbym się z dala od taśmy, ponieważ jest ona znacznie bardziej wrażliwa na warunki, w jakich jest przechowywana, niż dyski; również za pięć lat szanse są dobre, nadal będziesz mógł podłączyć dysk SATA do czegoś, ale możesz nie mieć dostępu do napędu taśm, który może odczytywać twoje taśmy.

Optyczne byłyby najlepsze pod względem stabilności długoterminowej, ale, jak wspominasz, koszty i logistyka czynią je nieco niepraktycznymi.

Adrien
źródło
2

Polecam mieć jakiś rodzaj NAS / RAID dla plików na żywo, z którymi często pracujesz. Jeśli zamierzasz używać dysków o dużej pojemności, możesz wybrać RAID-6 lub podobny, który podobnie jak RAID-5 + hot spare pozwala na awarię dwóch dysków, zanim RAID ulegnie degradacji, ale w przeciwieństwie do konfiguracji hot spare twój drugi dodatkowy dysk również będzie miał na nim parzystość, dzięki czemu nalot nie będzie musiał przywracać parzystości w razie awarii. Gdy dyski stają się coraz większe, istnieje większa szansa na awarię dysku podczas przebudowy, więc posiadanie możliwie największej parzystości na żywo jest dobre.

Oprócz tego polecam używanie dysków twardych takich jak napędy taśmowe. Obecnie można nawet kupić skrzynki na dyski twarde (także te ), które pozwalają archiwizować dyski. Możesz zrzucić pliki do macierzy RAID, a następnie wykonać dodatkowe kopie archiwalne na dyskach, które mają zostać zarchiwizowane.

Niektóre domy produkcyjne, takie jak Pixel Corps, używają podobnych konfiguracji.

Ponadto bardzo polecam przechowywanie plików w więcej niż jednej lokalizacji (nie pod tym samym dachem). Ponadto zdecydowanie przestrzegaj mantry „jeśli nie jest napisane w co najmniej dwóch miejscach, jeszcze go nie zapisałeś”. Ponadto RAID sam w sobie nie jest liczony jako kopia zapasowa.

James Snyder
źródło
2

Zakładam, że dotyczy to głównie przechowywania w trybie kopii zapasowej offline: łatwo go tworzyć i przywracać, ale nie jest on intensywnie wykorzystywany w codziennych operacjach.

Dyski 2 TB można obecnie kupić za około 140 USD. Tak więc za 10 TB, 5 dysków, 700 USD. Wyobraź sobie około 400 USD na zbudowanie serwera o niskim poborze mocy wokół tego Debiana, Ubuntu lub innego Linuxa. Jeśli masz system z wieloma kartami sieciowymi można bondinterfejsy sieciowe razem (potencjalnie uważam, że potrzebujesz przełącznika zarządzanego obsługującego trunking) zwiększają dostępną przepustowość serwera i chronią przed awariami karty sieciowej. Następnie możesz udostępnić pamięć za pomocą samby, NFS lub innej metody stacjom roboczym, które muszą z niej korzystać. W przypadku tak dużego wolumenu danych prawdopodobnie będziesz potrzebować pewnej nadmiarowości, aby gdy (a nie jeśli) jeden z tych dysków go ugryzie, nie będziesz bez danych. RAID5 nie jest tutaj dobrym pomysłem z kilku powodów, ale RAID10 pasuje do tego. Ponieważ na serwerze działa Linux, możesz użyć mdadm do zarządzania macierzą RAID. Aby to zrobić, musisz podwoić liczbę urządzeń fizycznych, więc masz do 10 dysków. Całkowity koszt tego serwera pamięci:

Jeśli naprawdę kochasz swoje dane (jeśli to naprawdę ważne dane produkcyjne, powinieneś!), Możesz zbudować zduplikowany serwer i wykonać kopię zapasową kopii zapasowej. Możesz to zrobić za pomocą crsab rsync, który może być strasznie wolny, netcat / tar pipe , który byłby szybszy, aby być pewnym, lub skonfigurować urządzenia raidowe jako podstawę urządzenia drbd . Dzięki automatycznemu duplikowaniu pamięci na obu komputerach (zasadniczo) masz gwarancję, że będziesz mieć nadmiarowe kopie zapasowe danych. Możesz uzyskać jeszcze bardziej wyrafinowane i skonfigurować system przełączania awaryjnego pulsu , aby zagwarantować dostępność wolumenu danych.

Jeff Shattock
źródło
rsync! = kopia zapasowa. Zachowaj ostrożność, ponieważ może z łatwością synchronizować uszkodzone pliki. To znaczy, chyba że użyjesz bardziej zaawansowanego systemu z symbolicznymi linkami lub czegoś do automatycznego tworzenia archiwów historycznych (pliki, które się zmieniają, pozostały w starszej wersji; pliki, które nie mają tylko symbolicznych linków).
Kevin Brock
2

Sieciowa pamięć masowa Buffalo TeraStation III 8 TB - 1 085,56 GBP

link amazon.co.uk

Mam wersję terastation 1 TB, którą zaktualizowałem do 4 TB, działa dla mnie bezbłędnie w RAID5. Możesz spojrzeć na zakup mniejszej wersji i jej samodzielną aktualizację, aby zaoszczędzić trochę pieniędzy - lub kupić wiele terastacji itp.

wahać się
źródło
1

Nie wiem dużo o napędach taśmowych ani semantyce przechowywania danych na taśmie, więc nie mogę ci pomóc. Biorąc pod uwagę wygórowany koszt używania bluray jako kopii zapasowej na masową skalę, trzymałbym się NASa lub pojedynczych dysków.

Jedną z rzeczy, na które należy uważać w przypadku NAS / Raid, jest to, że chociaż mogą one przechowywać znaczną ilość informacji na jednym dysku wirtualnym ... musisz trzymać wszystkie dyski razem, a RAID nie jest ogólnie dobrym rozwiązaniem na dłuższą metę ” rozwiązanie zapasowe. Wykorzystujesz potencjał utraty więcej niż jednego dysku, utraty samego urządzenia NAS (i ​​rzadko istnieją gwarancje, że urządzenie zastępcze będzie w stanie odczytać dane z dysków, nawet jeśli jest to „identyczne” urządzenie).

Biorąc pod uwagę, jak radykalnie tanie są obecnie dyski twarde i ich ogólną stabilność, wybrałbym pojedyncze dyski. Możesz łatwo pobrać 10 dysków 2 TB za niewielką opłatą (być może 1200–1500 USD) i wygenerować dwa zestawy kopii zapasowych. Otrzymujesz zarówno kopię zapasową danych w trybie offline, jak i nadmiarową, bez ryzyka związanego z macierzą RAID lub urządzeniem NAS. Poszczególne dyski oferują również większy zakres kompatybilności, ponieważ SATA raczej nie będzie dostępna w najbliższym czasie.

jrista
źródło
1

Jeśli naprawdę chcesz się upewnić, że go nie zgubisz, potrzebujesz co najmniej dwóch opcji archiwizacji. Prawdopodobnie taśma i dyski twarde. Wykonywanie tylko jednej kopii bez jakiejkolwiek formy redundancji to kolejny sposób na rzucenie kostką danych.

irracjonalny John
źródło
1

W zależności od potrzeb związanych z pamięcią, jeśli chcesz wykonać kopię zapasową poszczególnych stacji roboczych, spójrz na zewnętrzną stację dokującą do przechowywania danych Thermaltake BlacX dla wymiennych napędów SATA. Obsługują zarówno zewnętrzne połączenia USB, jak i SATA. Po prostu upuść dysk w stacji dokującej, skopiuj dane i masz kopię zapasową.

Mam doki w domu i pracy. Tworzę kopie zapasowe w każdej lokalizacji i przenoszę je do innej lokalizacji w celu przechowywania poza witryną. Mam też napęd scratch do przenoszenia trwających prac między lokalizacjami.

Doki kosztują około 60,00 USD i można uzyskać dyski 1,5 TB za mniej niż 100 USD.


źródło
1

Josh, nie wyjaśniłeś, czy to działa dane, czy dane archiwalne. Jeśli dane są cenne, nie ma rzeczywistej różnicy między kopią zapasową a archiwum, tylko tam, gdzie przechowujesz, tj. W działającym systemie lub systemie archiwizacji. Ponownie, jeśli dane są cenne, działający system i system archiwizacji będą identyczne, jeśli chcesz chronić dane i przestrzegać zasad tworzenia kopii zapasowych.

Archiwum więcej dotyczy rodzaju nośnika niż tego, co jest na nim przechowywane. Archiwum sugeruje, że dane nigdy się nie zmienią, tj. Zapisane jeden raz i Przeczytane wiele razy, powszechnie zwane WORM. Napędy WORM są zwykle taśmami, ale takie rzeczy, jak RDX Quikstor i RDX Quikstation (8-kieszeniowa stacja RDX) mają opcję WORM dla określonych napędów, dzięki czemu nie można ich nadpisać. Podejrzewam, że Quikstation RDX może pasować do twojej archiwizacji.

Pamiętaj, że system archiwizacji jest częścią planu tworzenia kopii zapasowych. Nigdy nie powinieneś rozważać posiadania tylko jednej kopii jakichkolwiek danych.

Niektóre zasady tworzenia kopii zapasowych to:

3-2-1 Reguła.

Trzy (3) kopie twoich danych. Jedno (1) źródło i dwie (2) kopie zapasowe na dwóch różnych nośnikach, z których jedno (1) jest przechowywane poza siedzibą.

Przykłady: Serwer lokalny wykonał kopię zapasową na lokalnym serwerze NAS i wykonał kopię zapasową poza lokacją na taśmie lub RDX. Serwer lokalny utworzył kopię zapasową na lokalnym serwerze NAS i utworzył kopię zapasową poza NAS. Serwer lokalny utworzył kopię zapasową na lokalnym serwerze NAS i replikował w czasie rzeczywistym na zewnętrzny serwer NAS. Twoja kopia zapasowa na miejscu powinna być dyskiem.

Głoska bezdźwięczna:

Twoja kopia zapasowa poza siedzibą zależy od czasu. Tworzenie kopii zapasowej poza siedzibą na przenośnych nośnikach automatycznie wprowadza opóźnienia. tzn. poniedziałkowa nocna kopia zapasowa zostaje zabrana poza wtorkową noc. Jeśli masz katastrofę przed końcem wtorku, tracisz dwa dni. Ile możesz stracić, zależy całkowicie od Twojej firmy i częstotliwości zmian danych.

Przechowywanie multimediów:

W pełni przestrzegaj zasad przechowywania multimediów. Niektóre taśmy wymagają przechowywania ich w pozycji pionowej między wąskimi zakresami temperatur i wilgotności, z dala od źródeł pól magnetycznych. Upuszczenie taśmy zmniejszy jej niezawodność. Wysyłanie taśm do domu z biurową dziewczyną w torebce obok jej telefonu komórkowego to katastrofa, która czeka. Przed włożeniem do napędu taśmy wymagają także do dwóch godzin pracy w środowisku kopii zapasowej, aby wyrównać temperaturę i wilgotność między taśmą a napędem. Taśmy należy również wyrzucić i wymienić w wymaganych odstępach czasu / zapisu.

Osobiście z tych powodów nie lubię taśmy. Koszt nie jest mały i nie jest to też koszt posiadania kogoś do zarządzania. Inwestowanie w taśmę, ale nieprzestrzeganie zasad jest bezcelowe. Możesz to zrobić tanie, ale spada niezawodność.

Wyeliminuj Pojedyncze punkty awarii:

Nie rozpowszechniaj kopii zapasowych na wielu nośnikach. Np. Pełna kopia zapasowa na jednej taśmie i różnice między 6 innymi taśmami zwiększyły ryzyko utraty danych 7 razy. Jeśli mam kopię zapasową, podoba mi się, że zawiera wszystkie pliki niezbędne do przywrócenia danych. Lepiej mieć 7 pełnych kopii zapasowych.

W pewnym sensie nalot liczy się jako wiele mediów. Gdziekolwiek używasz RAID, upewnij się, że ma on funkcję automatycznego przełączania awaryjnego na gorąco. Posiadaj co najmniej jeden dysk zapasowy we wnęce dysku jako dedykowany dysk zapasowy typu hot swap, a systemy automatycznie zamieni dysk twardy na dysk zapasowy hot swap. Jeśli masz terabajty danych, rozważ posiadanie dwóch lub więcej części zamiennych typu hot swap w macierzy RAID.

Przestrzegać odległości zewnętrznych:

Twoja odległość poza miejscem pracy jest ważna. Nie ma sensu tworzenie kopii zapasowych poza siedzibą, jeśli tylko chroni się przed utratą danych w niektórych okolicznościach. Każdy, kto przeżył trzęsienie ziemi, powódź, tornado, huragan itp., Powie ci to. Ostatnie trzęsienia ziemi w naszym mieście spowodowały, że wiele dużych firm flądrowało bez kopii zapasowych poza siedzibą (taśmy nadal obok serwerów) lub nieczytelnych kopii zapasowych. Ogólnie 60 mil / 90 km to dobra odległość.

Nie znam twojego budżetu, więc udzielanie porad jest trudne. Budżet ma wpływ na wybór kopii zapasowej i pamięci. Pracowałem dla producenta filmowego zapewniającego wsparcie IT, więc rozumiem ruchome części twojej branży. Istnieje wiele pytań bez odpowiedzi:

Jakie masz serwery, jeśli w ogóle? Ilu masz pracowników? Czy to twój jedyny film fabularny? Jaki rozmiar ma największy plik lub zestaw plików? Jaki jest czas między tym filmem a następnym? Na przykład, jeśli pracujesz na pełny etat, masz przepływ gotówki na pokrycie miesięcznych wydatków, takich jak zdalne tworzenie kopii zapasowych za pośrednictwem światłowodu. Jakie przepływy pieniężne wygeneruje film? Jakie masz wymagania? Te i inne pytania określają twoje wymagania, metodologię i budżet.

Na przykład: Jeśli produkujesz 3 filmy fabularne rocznie i reklamy co miesiąc zatrudniają tuzin pracowników, możesz sobie pozwolić na: Serwery z RAID-em na kopii zapasowej na RAID NAS na miejscu. Dedykowane łącze światłowodowe (niezbyt drogie) z 100-bitowym bezkonkurencyjnym (nie dławionym przez ISP) łączem replikowanym do centrum danych w odległości 60 m / 90 km. Ważne dane archiwalne należy zapisać na taśmie lub RDX i przechowywać w centrum danych lub skarbcu taśmowym. Budżet jest Twoim jedynym czynnikiem decydującym o stopniu redundancji i tworzenia kopii zapasowych, na jakie Cię stać.

Lub jeśli ma niski budżet, a dochód pochodzi ze sprzedaży, a przyszłość nie jest znana, być może rozważasz napędy TAPE, RDX lub USB (niezalecane) przechowywane w domu.

Obecne i przyszłe wymagania, przepływy pieniężne i budżet w porównaniu z utratą danych to czynniki decydujące. Sugeruję zatrudnienie doświadczonego specjalisty ds. Tworzenia kopii zapasowych i / lub analityka biznesowego, który zajmie się przechowywaniem i tworzeniem kopii zapasowych.

Samuel
źródło