Ogólne porady dotyczące rozwiązania archiwalnego. ~ 15tb i rośnie.

9

Potrzebuję lepszego systemu przechowywania i archiwizacji plików mojej małej firmy. W szczególności pliki są ukończonymi projektami wideo. Poza ograniczeniami czasowymi i kosztowymi powstrzymuje mnie to, że nie wierzę w żadne z rozważanych przeze mnie rozwiązań. Dlatego przedstawiam problem i moje myśli. Byłbym wdzięczny za wszelkie opinie.

Budżet: Wierzę w wydawanie tego, czego potrzeba. To powiedziawszy, jesteśmy małą firmą. Mam nadzieję, że uda mi się to zejść za mniej niż 5 tysięcy i około 1-3 tysięcy. To może być fajny sen. Po prostu mi to powiedz.

Problem:

  • Surowe pliki wideo mają ogromne rozmiary. Do tej pory zgromadziliśmy prawdopodobnie 10 + tb i to szybko rośnie.
  • Edycja wideo wymaga szybkiego dostępu do odczytu / zapisu plików, więc centralny lub oparty na chmurze serwer plików nie będzie wystarczająco szybki. Dlatego prawdopodobnie potrzebujemy rozwiązania dla starych projektów, a obecne projekty będą musiały pozostać lokalne.
  • Chcemy pewnego rodzaju redundancji i rozwiązania zewnętrznego.

Co obecnie robimy:

  • Używamy dużych zewnętrznych dysków twardych wysokiej jakości.
  • Zawsze kupujemy w parach i ręcznie kopiujemy treści. Innymi słowy, pracujemy z jednego i kopiujemy pliki do drugiego, który służy jako kopia zapasowa / cofnięcie.
  • Te dyski HD są wystarczająco szybkie dzięki Firewire800 lub USB3, aby bezpośrednio działać.
  • Po wypełnieniu odkładamy parę na bok.

Co jest nie tak z obecnym rozwiązaniem:

  • Chociaż dane są powielane na dwóch dyskach, dyski te nie są „archiwizowane” ani przechowywane poza siedzibą.
  • Organizacja na wielu zewnętrznych dyskach twardych jest trudna. Jaki projekt jest na jakim dysku? itp.
  • W końcu będziemy mieli niedorzeczną liczbę dysków twardych.
  • Duplikacja nie jest RAID.

Opcje:

Serwer lokalny

  • Kup serwer do montażu w stojaku i obudowę macierzy dysków twardych do montażu w stojaku, taką jak Norco (SAS) (20 pól).
  • Wszystkie pliki wideo byłyby przechowywane na tym serwerze. Możemy zainstalować i zapłacić usługę w chmurze, aby wykonać kopię zapasową tego jednego komputera / serwera. CrashPlan działa w systemie Linux i nie ma ograniczeń co do ilości danych. Harddrive to fizyczne dyski podłączone do serwera, więc omijamy zasady „no NAS”, takie jak CrashPlan. To nie jest komputer osobisty, więc synchronizacja może działać 24/7/365. To rozwiązałoby problem poza siedzibą firmy.
  • Zamiast korzystać z usługi tworzenia kopii zapasowych online, takiej jak CrashPlan, moglibyśmy napisać skrypt synchronizujący te pliki z kontem Amazon Glacier.
  • Zasada działania podglądu wideo na zewnętrznych dyskach twardych w przypadku bieżących projektów, ale po zakończeniu musi umieścić projekt na nowym komputerze. Innymi słowy, nadal używaj zewnętrznych dysków twardych do bieżących projektów i przechowuj zarchiwizowane projekty na tym serwerze.

Usługi tworzenia kopii zapasowych w chmurze (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • Zazwyczaj pozwala się wykonać kopię zapasową zewnętrznego dysku twardego, który jest fizycznie podłączony do komputera. (brak NAS lub dysków sieciowych).
  • Zazwyczaj oczekują, że zewnętrzny dysk z kopii zapasowej pozostanie podłączony do komputera, a wszystkie dane pozostaną na dysku. Jeśli od miesięcy nie podłączasz zewnętrznego dysku twardego, co stanie się z kopiami zapasowymi? Jeśli wyczyścisz miejsce, usuwając stare projekty, zostaną one również usunięte z usługi online.
  • Wymaga od naszych użytkowników pozostawienia zewnętrznych dysków twardych podłączonych do ich komputera, dopóki wszystkie dane nie znajdą się w chmurze. W przypadku dużego projektu może to potrwać tygodnie.
  • Przywrócenie projektu byłoby bardzo powolne ze względu na prędkości transferu internetowego.
  • Te konta kopii zapasowych w chmurze są zazwyczaj specyficzne dla jednego użytkownika / jednego komputera. Więc jeśli dysk twardy jest tworzony przez jednego użytkownika. Następnie nad projektem pracuje drugi użytkownik, co to znaczy?

Duży NAS

  • NAS to „Network Area Storage”. Wsadzasz tyle dysków twardych, ile będzie w stanie pomieścić. Zaatakuje ich. Możesz uzyskać do niego dostęp za pośrednictwem połączenia sieciowego lub USB3 / Firewire.
  • Większość ma upieczony system operacyjny. Nie można więc uruchamiać innego oprogramowania, takiego jak usługi tworzenia kopii zapasowych w chmurze. Nie można także dostosowywać ani uruchamiać własnego oprogramowania. Dostajesz to, co kupujesz.
  • Duże NAS są dość drogie i niezbyt duże. Nie ma wielu z więcej niż 4 zatokami. Obecnie duży HD to 3 TB. Więc 4bays może być gdzieś w okolicy <12tb pamięci. Niezbyt wygodne na przyszłość.

Inne pomysły to:

  • Kopie zapasowe taśm.
  • Po prostu zarchiwizuj starsze projekty bezpośrednio na Amazon Glacier, pomiń budowę lokalnego serwera do ich przechowywania.

Dzięki za radę !!! Jed

maestrojed
źródło
Jak często po zakończeniu projektu trzeba wracać i pracować z jego danymi?
Michael Hampton
Rozumiesz, że „Big NAS” jest niezwykle mały. Istnieją firmy od NetApp, EMC, IBM, Isilon i wielu innych, którzy chcieliby z tobą usiąść.
mfinni
Będziemy musieli wrócić do tych danych raz lub dwa razy w miesiącu. Gdyby dostęp do tych danych był opóźniony (Amazon Glacier), myślę, że byłoby do przyjęcia, gdybyśmy rozmawiali godzinami, a nie dniami.
maestrojed
Więc nie używaj Lodowca. Fess pobierania będzie wysoki, a księgowy wyskoczy, gdy dostanie rachunek.
HopelessN00b
@mfinni Jestem pewien, że EMC i IBM miałyby świetne pomysły i niesamowity sprzęt (nie znałem NetApp). Nie jestem pewien, czy pasuje to do mojego opisanego budżetu, ani nie wydaje się odpowiednie dla małych firm. Wygląda na to, że NetApp upodabnia sprzęt do tego, co nazwałem „macierzą dysków twardych” firmy Norco. Wspomniałem o tym w kompilacji własnego pomysłu na serwer. Czy to podejście sugerujesz?
maestrojed

Odpowiedzi:

12

Taśma. Takie proste. Quantum ma system SuperSTore, który może obsłużyć o wiele więcej i widziałem je za mniej niż 5000 punktów cenowych - nowe. Dobrą rzeczą jest to, że możesz wyciągać taśmy do przechowywania, więc skalowanie będzie dość opłacalne, a taśmy będą trwać.

TomTom
źródło
Ponieważ jesteś zadowolony z czasów pobierania w kolejności godzin, jestem całkowicie z TomTom w tym zakresie. Taśma jest niedoceniana i doskonale nadaje się do tego rodzaju rzeczy.
MadHatter
Jeśli korzystasz z taśmy, upewnij się, że masz coś, co pozwala na częste testowanie taśmy. Z mojego doświadczenia wynika, że ​​około 75% kopii zapasowych na taśmach nie działa, ponieważ ludzie używają tych samych kaset wiele razy i są zaskoczeni, gdy nie mogą odzyskać z nich danych 3 lata później.
Matthew
2
Zaskakujące, biorąc pod uwagę, że prawidłowe przyjmowanie właściwie przechowywanego (kaszel) ma gwarancje długości archaicznej (myślę, że 30 lat). I możesz z łatwością wykonać 2 kopie. Rób wagi naprawdę dobrze. To bardziej - przepraszam - idiotyzm ppl, który prawdopodobnie nigdy nie przetestuje przywracania nawet raz ... chociaż zrobiłbym to zgodnie z harmonogramem (1 tydzień, 1 miesiąc, 1 rok).
TomTom
1
+1 - jest to praktycznie podręczny futerał na taśmę o dużej pojemności. Przyrostowy koszt dodawania pamięci do archiwum opartego na taśmach (nawet w przypadku przecięcia dwóch taśm do przechowywania w miejscu i poza nim) jest niższy niż w przypadku dysków twardych, a taśmy przeznaczone są do archiwizacji. LTO jest wspierane przez stowarzyszenie branżowe, które wykazało zaangażowanie w tworzenie produktów, które umożliwiają dostęp do starszych mediów. Mimo to, po kilku latach, kiedy wymieniasz element taśmy, prawdopodobnie powinieneś migrować stare dane do nowych formatów taśmy, choćby po to, aby zwalczyć potencjalną zgniliznę bitów. Jeśli potrzebujesz, aby było to „OPEX”, rozważ opcję leasingu.
Evan Anderson
1
Taśma jest dobra, ale wymaga dyscypliny - regularne testowanie, rotacja poza siedzibą itp. Osobiście wybrałbym serwer NAS zbliżony do linii (prawdopodobnie nas4free) i rsync o ograniczonej prędkości do identycznego urządzenia poza siedzibą.
quadruplebucky
4

Po pierwsze, radziłbym unikać lodowca. Brzmi dobrze, dopóki nie zmiażdżysz kosztów przywracania dużej ilości danych. Jest to nieoficjalny kalkulator, którego możesz użyć do obliczenia kosztów przechowywania i wyszukiwania lodowca oraz do samodzielnego osądu . Przywrócenie terabajtów danych z Glacier jest dość nieatrakcyjną perspektywą.

Po drugie, radziłbym, aby dla prostych celów tworzenia kopii zapasowych można było uciec od pojedynczego serwera NAS z dużą ilością dysków. Wydaje mi się, że spojrzałeś tylko na opcje NAS w domu i małym biurze i powinieneś rozważyć odpowiednią ofertę NAS. Woląc Dell, chciałbym wskazać serwery Dell PowerVault NAS , ale HP, IBM, SuperMicro i prawie wszyscy mają podobną ofertę. Mam w domu starszego Dell PowerVault NX, który służy jako moja biblioteka multimediów i mam w nim dwanaście 2 TB dyski SAS typu near-line. Obecnie dostępne są także dyski SAS nearline 4 TB o pojemności 4 TB, dzięki czemu zawsze możesz wypełnić je odpowiednim serwerem NAS. (Lub kup kilka serwerów NAS).

Możesz z łatwością użyć jednego z nich w lokalnej sieci LAN, zainstalować wybrane oprogramowanie do tworzenia kopii zapasowych ( np. Bacula, jeśli wolisz bezpłatnie lub dowolną z kilkunastu ofert komercyjnych, jeśli chcesz uzyskać wsparcie dostawcy) i użyć dużego woluminu RAID jako swojego cel kopii zapasowej. Następnie można użyć usługi tworzenia kopii zapasowych w chmurze, aby wykonać kopię zapasową tego serwera NAS i uzyskać korzyści z lokalnych i zdalnych kopii zapasowych. Znowu to robię w domu. Właściwy serwer NAS, terabajty kopii zapasowej danych w usłudze chmurowej.

Oczywiście możesz też użyć taśmy ... kupić napęd taśmowy LTO lub bibliotekę - osobiście zrobię wszystko, aby uniknąć taśmy lub nośnika optycznego, ale są to uzasadnione opcje i mogą być tańsze niż dysk rozwiązanie na dysk.

Na koniec sugeruję, abyś wziął pod uwagę główną wadę usług tworzenia kopii zapasowych w chmurze, jaką jest wielkość twojego potoku internetowego. Przesyłanie terabajtów danych przez połączenie internetowe i / lub naliczanie dodatkowych opłat od usługodawcy internetowego może potrwać tygodnie lub miesiące. Chociaż są one realną opcją tworzenia kopii zapasowych danych, nawet danych korporacyjnych, jest to ograniczenie, które większość ludzi nie bierze pod uwagę, dopóki go nie dotknie.

Beznadziejny
źródło
+1. Glacier jest archiwalny - to poważnie S ++++ do tworzenia kopii zapasowych. Kopia zapasowa oznacza brak przywracania przez wieki, a następnie LOT - a 5% przydziału oznacza płacenie w przypadku przywracania.
TomTom
1

Myślę, że to zależy od twojego budżetu. Jeśli możesz wydać tylko ~ 6 000 $, prawdopodobnie będziesz musiał zbudować własny NAS. Spojrzałbym na nas4free i ile kosztuje cię serwer. Jeśli możesz wydać 20 000 $, prawdopodobnie możesz wypełnić serwer dużą ilością dysku i przyzwoitą kartą RAID lub programową macierzą RAID pod Linuksem lub czymkolwiek.

Za około 40 tys. USD możesz mieć wysokiej klasy 1U (IBM x3550 M4, 2 porty Emulex 10 GBit nic, 4 Gbit NIC, 128 GB RAM, 2 lokalne dyski 10 kB SAS) z 10 Gbit iSCSI do urządzenia Infortrend SAN z 24 dyskami SAS 4 TB kroić i kroić, jak chcesz. RAID6 jest rozsądną konfiguracją.

Taśma to również dobry pomysł, ale nie wiem, jak tanio to jest naprawdę. To zależy od wielkości biblioteki. Jeśli biblioteka taśm 48 jest dobra, możesz to zrobić ponownie z 1U i zewnętrzną kartą SAS za około 30 000 USD i 2 dyski LTO6 ... Ale wtedy potrzebujesz licencji na oprogramowanie do zarządzania kopiami zapasowymi taśm lub czymś podobnym. Użyłem tylko NetBackup, co prawdopodobnie nie jest dla ciebie idealne. Tylko nie zapomnij, że prawdopodobnie będziesz chciał w jakiś sposób prowadzić bibliotekę taśm w oprogramowaniu. Ale kiedy opuścisz bibliotekę, nie zapomnij znaleźć taśmy i załadować ją, a także obszar przejściowy dla dostępu ...

jmp242
źródło