Jaki jest najbezpieczniejszy i najtańszy sposób przechowywania 10 terabajtów danych?

Jestem członkiem firmy produkcyjnej i przygotowujemy się do naszego pierwszego filmu fabularnego. Dyskutowaliśmy o metodach przechowywania danych, aby zapewnić bezpieczeństwo całej naszej oryginalnej treści (tak długo, jak to możliwe). Rozumiemy, że dane nigdy nie są w 100% bezpieczne, ale chcielibyśmy znaleźć dla nas najbezpieczniejsze rozwiązanie.

Rozważaliśmy:

• 16 TB NAS do przechowywania na miejscu

• Dyski twarde 4-5 2 TB (tanie, ale nie zbędne), skopiuj oryginalne nagrania na dyski, a następnie zapakuj w bezpłatną torbę statyczną

• Nagrywaj dane na dyski Blu-Ray (czasochłonne i drogie: 200 dysków == 5000 USD)

• Napędy taśmowe?

Wiem najmniej o napędach taśmowych, poza tym, że są bardziej niezawodne niż dyski. Każde doświadczenie / wiedza z taką ilością danych jest bardzo mile widziane.

Zakłada się, że wybierasz archiwum zamiast zwykłej kopii zapasowej lub danych na żywo.

Wybierz zestaw dysków twardych SATA (1 lub 2 TB) oraz kilka dodatków. Skopiuj dane na dyski. Użyj QuickPar (lub archiwizatora, który obsługuje woluminy parzystości), aby utworzyć dodatkowe pliki parzystości. Dystrybucja plików parzystości między dyskami twardymi.

Informacje o parzystości pozwolą Ci zrekonstruować pliki, jeśli masz wystarczająco dużo plików parzystości. Więc jeśli jeden dysk umrze, ale inne dyski z informacjami o parzystości nadal działają, możesz użyć plików parzystości do odtworzenia oryginału.

Aby uzyskać więcej redundancji, zrób to wszystko dwa razy i przechowuj w osobnych lokalizacjach.

Jeśli jesteś naprawdę paranoikiem, przechowuj także PCI i PCI Express do kontrolera SATA w każdym miejscu!

Edycja: Cholera, jeśli chodzi tylko o paranoję, idź na całość i przechowuj komputer z gigabitową siecią Ethernet na każdej stronie, która może czytać dyski!

Napędy LTO4, których używamy, mogą mieć pojemność 800 GB na taśmę. Minusem jest koszt samych napędów. Jeśli zastanowiłeś się nad 5 000 $ za dyski Blu-Ray, nie spodoba ci się koszt LTO4. Z drugiej strony same karty są dość tanie w przeliczeniu na GB, więc możesz przechowywać wiele kopii. Te taśmy mają dobry okres przydatności do użycia, ale musisz wymienić je na nowe nośniki podczas wymiany napędu taśmowego. Z tego, jak opisujesz, jak zamierzasz korzystać z tego magazynu, nie sądzę, aby taśma dobrze pasowała. Nie, chyba że będzie to rozwiązanie zapasowe zamiast archiwizacyjnego . Różne problemy.

Możesz rozważyć tego rodzaju dostawcę kopii zapasowych w chmurze, jeśli Twoja codzienna zmiana sieci jest wystarczająco mała. Oczywiście zależy to od tego, jak mocne jest twoje połączenie internetowe, a przywrócenie z niego może być równie bolesne. Usługi te są dość nowe, więc nie wiadomo, jak radzą sobie z problemem bankructwa danych; co się stanie, jeśli przestaną działać?

Lokalna pamięć dyskowa jest zdecydowanie najlepszym rozwiązaniem. Obudowa napędu z łatwo wymienialnymi napędami jest prawdopodobnie najlepszym rozwiązaniem, biorąc pod uwagę ograniczenia kosztów. Jeśli możesz żyć z tymi danymi offline, skorzystaj z nich. Dyski są tanie, a obudowy dysków tańsze niż napędy taśmowe. Mniej ruchomych części.

Zakładam, że potrzebujesz tego do archiwizacji, a nie do aktywnego użycia w roli wideo. Jeśli tak, to inny problem z pamięcią.

Czy w swoich badaniach NAS spojrzałeś na samodzielnie zarządzane urządzenia pamięci masowej DroboPro lub DroboElite ?

Zastanów się, jaki byłby koszt, gdybyś odpowiednio stracił część / całość materiału i budżetu;)

Czy rozważałeś usługi hostowane? Nie jestem pewien, jak ważona jest cena, ale możesz rozważyć usługę hostingową, która sprzedaje pamięć masową. Może AWS ?

Od ośmiu do dziesięciu dysków twardych 2 TB; zrobić dwa zestawy. Przechowuj, jak już wspomniano, osobno ...

Trzymałbym się z dala od taśmy, ponieważ jest ona znacznie bardziej wrażliwa na warunki, w jakich jest przechowywana, niż dyski; również za pięć lat szanse są dobre, nadal będziesz mógł podłączyć dysk SATA do czegoś, ale możesz nie mieć dostępu do napędu taśm, który może odczytywać twoje taśmy.

Optyczne byłyby najlepsze pod względem stabilności długoterminowej, ale, jak wspominasz, koszty i logistyka czynią je nieco niepraktycznymi.

Polecam mieć jakiś rodzaj NAS / RAID dla plików na żywo, z którymi często pracujesz. Jeśli zamierzasz używać dysków o dużej pojemności, możesz wybrać RAID-6 lub podobny, który podobnie jak RAID-5 + hot spare pozwala na awarię dwóch dysków, zanim RAID ulegnie degradacji, ale w przeciwieństwie do konfiguracji hot spare twój drugi dodatkowy dysk również będzie miał na nim parzystość, dzięki czemu nalot nie będzie musiał przywracać parzystości w razie awarii. Gdy dyski stają się coraz większe, istnieje większa szansa na awarię dysku podczas przebudowy, więc posiadanie możliwie największej parzystości na żywo jest dobre.

Oprócz tego polecam używanie dysków twardych takich jak napędy taśmowe. Obecnie można nawet kupić skrzynki na dyski twarde (także te ), które pozwalają archiwizować dyski. Możesz zrzucić pliki do macierzy RAID, a następnie wykonać dodatkowe kopie archiwalne na dyskach, które mają zostać zarchiwizowane.

Niektóre domy produkcyjne, takie jak Pixel Corps, używają podobnych konfiguracji.

Ponadto bardzo polecam przechowywanie plików w więcej niż jednej lokalizacji (nie pod tym samym dachem). Ponadto zdecydowanie przestrzegaj mantry „jeśli nie jest napisane w co najmniej dwóch miejscach, jeszcze go nie zapisałeś”. Ponadto RAID sam w sobie nie jest liczony jako kopia zapasowa.

Zakładam, że dotyczy to głównie przechowywania w trybie kopii zapasowej offline: łatwo go tworzyć i przywracać, ale nie jest on intensywnie wykorzystywany w codziennych operacjach.

Dyski 2 TB można obecnie kupić za około 140 USD. Tak więc za 10 TB, 5 dysków, 700 USD. Wyobraź sobie około 400 USD na zbudowanie serwera o niskim poborze mocy wokół tego Debiana, Ubuntu lub innego Linuxa. Jeśli masz system z wieloma kartami sieciowymi można bondinterfejsy sieciowe razem (potencjalnie uważam, że potrzebujesz przełącznika zarządzanego obsługującego trunking) zwiększają dostępną przepustowość serwera i chronią przed awariami karty sieciowej. Następnie możesz udostępnić pamięć za pomocą samby, NFS lub innej metody stacjom roboczym, które muszą z niej korzystać. W przypadku tak dużego wolumenu danych prawdopodobnie będziesz potrzebować pewnej nadmiarowości, aby gdy (a nie jeśli) jeden z tych dysków go ugryzie, nie będziesz bez danych. RAID5 nie jest tutaj dobrym pomysłem z kilku powodów, ale RAID10 pasuje do tego. Ponieważ na serwerze działa Linux, możesz użyć mdadm do zarządzania macierzą RAID. Aby to zrobić, musisz podwoić liczbę urządzeń fizycznych, więc masz do 10 dysków. Całkowity koszt tego serwera pamięci:

Jeśli naprawdę kochasz swoje dane (jeśli to naprawdę ważne dane produkcyjne, powinieneś!), Możesz zbudować zduplikowany serwer i wykonać kopię zapasową kopii zapasowej. Możesz to zrobić za pomocą crsab rsync, który może być strasznie wolny, netcat / tar pipe , który byłby szybszy, aby być pewnym, lub skonfigurować urządzenia raidowe jako podstawę urządzenia drbd . Dzięki automatycznemu duplikowaniu pamięci na obu komputerach (zasadniczo) masz gwarancję, że będziesz mieć nadmiarowe kopie zapasowe danych. Możesz uzyskać jeszcze bardziej wyrafinowane i skonfigurować system przełączania awaryjnego pulsu , aby zagwarantować dostępność wolumenu danych.

Sieciowa pamięć masowa Buffalo TeraStation III 8 TB - 1 085,56 GBP

link amazon.co.uk

Mam wersję terastation 1 TB, którą zaktualizowałem do 4 TB, działa dla mnie bezbłędnie w RAID5. Możesz spojrzeć na zakup mniejszej wersji i jej samodzielną aktualizację, aby zaoszczędzić trochę pieniędzy - lub kupić wiele terastacji itp.

Nie wiem dużo o napędach taśmowych ani semantyce przechowywania danych na taśmie, więc nie mogę ci pomóc. Biorąc pod uwagę wygórowany koszt używania bluray jako kopii zapasowej na masową skalę, trzymałbym się NASa lub pojedynczych dysków.

Jedną z rzeczy, na które należy uważać w przypadku NAS / Raid, jest to, że chociaż mogą one przechowywać znaczną ilość informacji na jednym dysku wirtualnym ... musisz trzymać wszystkie dyski razem, a RAID nie jest ogólnie dobrym rozwiązaniem na dłuższą metę ” rozwiązanie zapasowe. Wykorzystujesz potencjał utraty więcej niż jednego dysku, utraty samego urządzenia NAS (i ​​rzadko istnieją gwarancje, że urządzenie zastępcze będzie w stanie odczytać dane z dysków, nawet jeśli jest to „identyczne” urządzenie).

Biorąc pod uwagę, jak radykalnie tanie są obecnie dyski twarde i ich ogólną stabilność, wybrałbym pojedyncze dyski. Możesz łatwo pobrać 10 dysków 2 TB za niewielką opłatą (być może 1200–1500 USD) i wygenerować dwa zestawy kopii zapasowych. Otrzymujesz zarówno kopię zapasową danych w trybie offline, jak i nadmiarową, bez ryzyka związanego z macierzą RAID lub urządzeniem NAS. Poszczególne dyski oferują również większy zakres kompatybilności, ponieważ SATA raczej nie będzie dostępna w najbliższym czasie.

Jeśli naprawdę chcesz się upewnić, że go nie zgubisz, potrzebujesz co najmniej dwóch opcji archiwizacji. Prawdopodobnie taśma i dyski twarde. Wykonywanie tylko jednej kopii bez jakiejkolwiek formy redundancji to kolejny sposób na rzucenie kostką danych.

W zależności od potrzeb związanych z pamięcią, jeśli chcesz wykonać kopię zapasową poszczególnych stacji roboczych, spójrz na zewnętrzną stację dokującą do przechowywania danych Thermaltake BlacX dla wymiennych napędów SATA. Obsługują zarówno zewnętrzne połączenia USB, jak i SATA. Po prostu upuść dysk w stacji dokującej, skopiuj dane i masz kopię zapasową.

Mam doki w domu i pracy. Tworzę kopie zapasowe w każdej lokalizacji i przenoszę je do innej lokalizacji w celu przechowywania poza witryną. Mam też napęd scratch do przenoszenia trwających prac między lokalizacjami.

Doki kosztują około 60,00 USD i można uzyskać dyski 1,5 TB za mniej niż 100 USD.

Josh, nie wyjaśniłeś, czy to działa dane, czy dane archiwalne. Jeśli dane są cenne, nie ma rzeczywistej różnicy między kopią zapasową a archiwum, tylko tam, gdzie przechowujesz, tj. W działającym systemie lub systemie archiwizacji. Ponownie, jeśli dane są cenne, działający system i system archiwizacji będą identyczne, jeśli chcesz chronić dane i przestrzegać zasad tworzenia kopii zapasowych.

Archiwum więcej dotyczy rodzaju nośnika niż tego, co jest na nim przechowywane. Archiwum sugeruje, że dane nigdy się nie zmienią, tj. Zapisane jeden raz i Przeczytane wiele razy, powszechnie zwane WORM. Napędy WORM są zwykle taśmami, ale takie rzeczy, jak RDX Quikstor i RDX Quikstation (8-kieszeniowa stacja RDX) mają opcję WORM dla określonych napędów, dzięki czemu nie można ich nadpisać. Podejrzewam, że Quikstation RDX może pasować do twojej archiwizacji.

Pamiętaj, że system archiwizacji jest częścią planu tworzenia kopii zapasowych. Nigdy nie powinieneś rozważać posiadania tylko jednej kopii jakichkolwiek danych.

Niektóre zasady tworzenia kopii zapasowych to:

3-2-1 Reguła.

Trzy (3) kopie twoich danych. Jedno (1) źródło i dwie (2) kopie zapasowe na dwóch różnych nośnikach, z których jedno (1) jest przechowywane poza siedzibą.

Przykłady: Serwer lokalny wykonał kopię zapasową na lokalnym serwerze NAS i wykonał kopię zapasową poza lokacją na taśmie lub RDX. Serwer lokalny utworzył kopię zapasową na lokalnym serwerze NAS i utworzył kopię zapasową poza NAS. Serwer lokalny utworzył kopię zapasową na lokalnym serwerze NAS i replikował w czasie rzeczywistym na zewnętrzny serwer NAS. Twoja kopia zapasowa na miejscu powinna być dyskiem.

Głoska bezdźwięczna:

Twoja kopia zapasowa poza siedzibą zależy od czasu. Tworzenie kopii zapasowej poza siedzibą na przenośnych nośnikach automatycznie wprowadza opóźnienia. tzn. poniedziałkowa nocna kopia zapasowa zostaje zabrana poza wtorkową noc. Jeśli masz katastrofę przed końcem wtorku, tracisz dwa dni. Ile możesz stracić, zależy całkowicie od Twojej firmy i częstotliwości zmian danych.

Przechowywanie multimediów:

W pełni przestrzegaj zasad przechowywania multimediów. Niektóre taśmy wymagają przechowywania ich w pozycji pionowej między wąskimi zakresami temperatur i wilgotności, z dala od źródeł pól magnetycznych. Upuszczenie taśmy zmniejszy jej niezawodność. Wysyłanie taśm do domu z biurową dziewczyną w torebce obok jej telefonu komórkowego to katastrofa, która czeka. Przed włożeniem do napędu taśmy wymagają także do dwóch godzin pracy w środowisku kopii zapasowej, aby wyrównać temperaturę i wilgotność między taśmą a napędem. Taśmy należy również wyrzucić i wymienić w wymaganych odstępach czasu / zapisu.

Osobiście z tych powodów nie lubię taśmy. Koszt nie jest mały i nie jest to też koszt posiadania kogoś do zarządzania. Inwestowanie w taśmę, ale nieprzestrzeganie zasad jest bezcelowe. Możesz to zrobić tanie, ale spada niezawodność.

Wyeliminuj Pojedyncze punkty awarii:

Nie rozpowszechniaj kopii zapasowych na wielu nośnikach. Np. Pełna kopia zapasowa na jednej taśmie i różnice między 6 innymi taśmami zwiększyły ryzyko utraty danych 7 razy. Jeśli mam kopię zapasową, podoba mi się, że zawiera wszystkie pliki niezbędne do przywrócenia danych. Lepiej mieć 7 pełnych kopii zapasowych.

W pewnym sensie nalot liczy się jako wiele mediów. Gdziekolwiek używasz RAID, upewnij się, że ma on funkcję automatycznego przełączania awaryjnego na gorąco. Posiadaj co najmniej jeden dysk zapasowy we wnęce dysku jako dedykowany dysk zapasowy typu hot swap, a systemy automatycznie zamieni dysk twardy na dysk zapasowy hot swap. Jeśli masz terabajty danych, rozważ posiadanie dwóch lub więcej części zamiennych typu hot swap w macierzy RAID.

Przestrzegać odległości zewnętrznych:

Twoja odległość poza miejscem pracy jest ważna. Nie ma sensu tworzenie kopii zapasowych poza siedzibą, jeśli tylko chroni się przed utratą danych w niektórych okolicznościach. Każdy, kto przeżył trzęsienie ziemi, powódź, tornado, huragan itp., Powie ci to. Ostatnie trzęsienia ziemi w naszym mieście spowodowały, że wiele dużych firm flądrowało bez kopii zapasowych poza siedzibą (taśmy nadal obok serwerów) lub nieczytelnych kopii zapasowych. Ogólnie 60 mil / 90 km to dobra odległość.

Nie znam twojego budżetu, więc udzielanie porad jest trudne. Budżet ma wpływ na wybór kopii zapasowej i pamięci. Pracowałem dla producenta filmowego zapewniającego wsparcie IT, więc rozumiem ruchome części twojej branży. Istnieje wiele pytań bez odpowiedzi:

Jakie masz serwery, jeśli w ogóle? Ilu masz pracowników? Czy to twój jedyny film fabularny? Jaki rozmiar ma największy plik lub zestaw plików? Jaki jest czas między tym filmem a następnym? Na przykład, jeśli pracujesz na pełny etat, masz przepływ gotówki na pokrycie miesięcznych wydatków, takich jak zdalne tworzenie kopii zapasowych za pośrednictwem światłowodu. Jakie przepływy pieniężne wygeneruje film? Jakie masz wymagania? Te i inne pytania określają twoje wymagania, metodologię i budżet.

Na przykład: Jeśli produkujesz 3 filmy fabularne rocznie i reklamy co miesiąc zatrudniają tuzin pracowników, możesz sobie pozwolić na: Serwery z RAID-em na kopii zapasowej na RAID NAS na miejscu. Dedykowane łącze światłowodowe (niezbyt drogie) z 100-bitowym bezkonkurencyjnym (nie dławionym przez ISP) łączem replikowanym do centrum danych w odległości 60 m / 90 km. Ważne dane archiwalne należy zapisać na taśmie lub RDX i przechowywać w centrum danych lub skarbcu taśmowym. Budżet jest Twoim jedynym czynnikiem decydującym o stopniu redundancji i tworzenia kopii zapasowych, na jakie Cię stać.

Lub jeśli ma niski budżet, a dochód pochodzi ze sprzedaży, a przyszłość nie jest znana, być może rozważasz napędy TAPE, RDX lub USB (niezalecane) przechowywane w domu.

Obecne i przyszłe wymagania, przepływy pieniężne i budżet w porównaniu z utratą danych to czynniki decydujące. Sugeruję zatrudnienie doświadczonego specjalisty ds. Tworzenia kopii zapasowych i / lub analityka biznesowego, który zajmie się przechowywaniem i tworzeniem kopii zapasowych.