Potrzebuję lepszego systemu przechowywania i archiwizacji plików mojej małej firmy. W szczególności pliki są ukończonymi projektami wideo. Poza ograniczeniami czasowymi i kosztowymi powstrzymuje mnie to, że nie wierzę w żadne z rozważanych przeze mnie rozwiązań. Dlatego przedstawiam problem i moje myśli. Byłbym wdzięczny za wszelkie opinie.
Budżet: Wierzę w wydawanie tego, czego potrzeba. To powiedziawszy, jesteśmy małą firmą. Mam nadzieję, że uda mi się to zejść za mniej niż 5 tysięcy i około 1-3 tysięcy. To może być fajny sen. Po prostu mi to powiedz.
Problem:
- Surowe pliki wideo mają ogromne rozmiary. Do tej pory zgromadziliśmy prawdopodobnie 10 + tb i to szybko rośnie.
- Edycja wideo wymaga szybkiego dostępu do odczytu / zapisu plików, więc centralny lub oparty na chmurze serwer plików nie będzie wystarczająco szybki. Dlatego prawdopodobnie potrzebujemy rozwiązania dla starych projektów, a obecne projekty będą musiały pozostać lokalne.
- Chcemy pewnego rodzaju redundancji i rozwiązania zewnętrznego.
Co obecnie robimy:
- Używamy dużych zewnętrznych dysków twardych wysokiej jakości.
- Zawsze kupujemy w parach i ręcznie kopiujemy treści. Innymi słowy, pracujemy z jednego i kopiujemy pliki do drugiego, który służy jako kopia zapasowa / cofnięcie.
- Te dyski HD są wystarczająco szybkie dzięki Firewire800 lub USB3, aby bezpośrednio działać.
- Po wypełnieniu odkładamy parę na bok.
Co jest nie tak z obecnym rozwiązaniem:
- Chociaż dane są powielane na dwóch dyskach, dyski te nie są „archiwizowane” ani przechowywane poza siedzibą.
- Organizacja na wielu zewnętrznych dyskach twardych jest trudna. Jaki projekt jest na jakim dysku? itp.
- W końcu będziemy mieli niedorzeczną liczbę dysków twardych.
- Duplikacja nie jest RAID.
Opcje:
Serwer lokalny
- Kup serwer do montażu w stojaku i obudowę macierzy dysków twardych do montażu w stojaku, taką jak Norco (SAS) (20 pól).
- Wszystkie pliki wideo byłyby przechowywane na tym serwerze. Możemy zainstalować i zapłacić usługę w chmurze, aby wykonać kopię zapasową tego jednego komputera / serwera. CrashPlan działa w systemie Linux i nie ma ograniczeń co do ilości danych. Harddrive to fizyczne dyski podłączone do serwera, więc omijamy zasady „no NAS”, takie jak CrashPlan. To nie jest komputer osobisty, więc synchronizacja może działać 24/7/365. To rozwiązałoby problem poza siedzibą firmy.
- Zamiast korzystać z usługi tworzenia kopii zapasowych online, takiej jak CrashPlan, moglibyśmy napisać skrypt synchronizujący te pliki z kontem Amazon Glacier.
- Zasada działania podglądu wideo na zewnętrznych dyskach twardych w przypadku bieżących projektów, ale po zakończeniu musi umieścić projekt na nowym komputerze. Innymi słowy, nadal używaj zewnętrznych dysków twardych do bieżących projektów i przechowuj zarchiwizowane projekty na tym serwerze.
Usługi tworzenia kopii zapasowych w chmurze (CrashPlan.com, BackBlaze.com, Carbonite.com)
- Zazwyczaj pozwala się wykonać kopię zapasową zewnętrznego dysku twardego, który jest fizycznie podłączony do komputera. (brak NAS lub dysków sieciowych).
- Zazwyczaj oczekują, że zewnętrzny dysk z kopii zapasowej pozostanie podłączony do komputera, a wszystkie dane pozostaną na dysku. Jeśli od miesięcy nie podłączasz zewnętrznego dysku twardego, co stanie się z kopiami zapasowymi? Jeśli wyczyścisz miejsce, usuwając stare projekty, zostaną one również usunięte z usługi online.
- Wymaga od naszych użytkowników pozostawienia zewnętrznych dysków twardych podłączonych do ich komputera, dopóki wszystkie dane nie znajdą się w chmurze. W przypadku dużego projektu może to potrwać tygodnie.
- Przywrócenie projektu byłoby bardzo powolne ze względu na prędkości transferu internetowego.
- Te konta kopii zapasowych w chmurze są zazwyczaj specyficzne dla jednego użytkownika / jednego komputera. Więc jeśli dysk twardy jest tworzony przez jednego użytkownika. Następnie nad projektem pracuje drugi użytkownik, co to znaczy?
Duży NAS
- NAS to „Network Area Storage”. Wsadzasz tyle dysków twardych, ile będzie w stanie pomieścić. Zaatakuje ich. Możesz uzyskać do niego dostęp za pośrednictwem połączenia sieciowego lub USB3 / Firewire.
- Większość ma upieczony system operacyjny. Nie można więc uruchamiać innego oprogramowania, takiego jak usługi tworzenia kopii zapasowych w chmurze. Nie można także dostosowywać ani uruchamiać własnego oprogramowania. Dostajesz to, co kupujesz.
- Duże NAS są dość drogie i niezbyt duże. Nie ma wielu z więcej niż 4 zatokami. Obecnie duży HD to 3 TB. Więc 4bays może być gdzieś w okolicy <12tb pamięci. Niezbyt wygodne na przyszłość.
Inne pomysły to:
- Kopie zapasowe taśm.
- Po prostu zarchiwizuj starsze projekty bezpośrednio na Amazon Glacier, pomiń budowę lokalnego serwera do ich przechowywania.
Dzięki za radę !!! Jed
Odpowiedzi:
Taśma. Takie proste. Quantum ma system SuperSTore, który może obsłużyć o wiele więcej i widziałem je za mniej niż 5000 punktów cenowych - nowe. Dobrą rzeczą jest to, że możesz wyciągać taśmy do przechowywania, więc skalowanie będzie dość opłacalne, a taśmy będą trwać.
źródło
Po pierwsze, radziłbym unikać lodowca. Brzmi dobrze, dopóki nie zmiażdżysz kosztów przywracania dużej ilości danych. Jest to nieoficjalny kalkulator, którego możesz użyć do obliczenia kosztów przechowywania i wyszukiwania lodowca oraz do samodzielnego osądu . Przywrócenie terabajtów danych z Glacier jest dość nieatrakcyjną perspektywą.
Po drugie, radziłbym, aby dla prostych celów tworzenia kopii zapasowych można było uciec od pojedynczego serwera NAS z dużą ilością dysków. Wydaje mi się, że spojrzałeś tylko na opcje NAS w domu i małym biurze i powinieneś rozważyć odpowiednią ofertę NAS. Woląc Dell, chciałbym wskazać serwery Dell PowerVault NAS , ale HP, IBM, SuperMicro i prawie wszyscy mają podobną ofertę. Mam w domu starszego Dell PowerVault NX, który służy jako moja biblioteka multimediów i mam w nim dwanaście 2 TB dyski SAS typu near-line. Obecnie dostępne są także dyski SAS nearline 4 TB o pojemności 4 TB, dzięki czemu zawsze możesz wypełnić je odpowiednim serwerem NAS. (Lub kup kilka serwerów NAS).
Możesz z łatwością użyć jednego z nich w lokalnej sieci LAN, zainstalować wybrane oprogramowanie do tworzenia kopii zapasowych ( np. Bacula, jeśli wolisz bezpłatnie lub dowolną z kilkunastu ofert komercyjnych, jeśli chcesz uzyskać wsparcie dostawcy) i użyć dużego woluminu RAID jako swojego cel kopii zapasowej. Następnie można użyć usługi tworzenia kopii zapasowych w chmurze, aby wykonać kopię zapasową tego serwera NAS i uzyskać korzyści z lokalnych i zdalnych kopii zapasowych. Znowu to robię w domu. Właściwy serwer NAS, terabajty kopii zapasowej danych w usłudze chmurowej.
Oczywiście możesz też użyć taśmy ... kupić napęd taśmowy LTO lub bibliotekę - osobiście zrobię wszystko, aby uniknąć taśmy lub nośnika optycznego, ale są to uzasadnione opcje i mogą być tańsze niż dysk rozwiązanie na dysk.
Na koniec sugeruję, abyś wziął pod uwagę główną wadę usług tworzenia kopii zapasowych w chmurze, jaką jest wielkość twojego potoku internetowego. Przesyłanie terabajtów danych przez połączenie internetowe i / lub naliczanie dodatkowych opłat od usługodawcy internetowego może potrwać tygodnie lub miesiące. Chociaż są one realną opcją tworzenia kopii zapasowych danych, nawet danych korporacyjnych, jest to ograniczenie, które większość ludzi nie bierze pod uwagę, dopóki go nie dotknie.
źródło
Myślę, że to zależy od twojego budżetu. Jeśli możesz wydać tylko ~ 6 000 $, prawdopodobnie będziesz musiał zbudować własny NAS. Spojrzałbym na nas4free i ile kosztuje cię serwer. Jeśli możesz wydać 20 000 $, prawdopodobnie możesz wypełnić serwer dużą ilością dysku i przyzwoitą kartą RAID lub programową macierzą RAID pod Linuksem lub czymkolwiek.
Za około 40 tys. USD możesz mieć wysokiej klasy 1U (IBM x3550 M4, 2 porty Emulex 10 GBit nic, 4 Gbit NIC, 128 GB RAM, 2 lokalne dyski 10 kB SAS) z 10 Gbit iSCSI do urządzenia Infortrend SAN z 24 dyskami SAS 4 TB kroić i kroić, jak chcesz. RAID6 jest rozsądną konfiguracją.
Taśma to również dobry pomysł, ale nie wiem, jak tanio to jest naprawdę. To zależy od wielkości biblioteki. Jeśli biblioteka taśm 48 jest dobra, możesz to zrobić ponownie z 1U i zewnętrzną kartą SAS za około 30 000 USD i 2 dyski LTO6 ... Ale wtedy potrzebujesz licencji na oprogramowanie do zarządzania kopiami zapasowymi taśm lub czymś podobnym. Użyłem tylko NetBackup, co prawdopodobnie nie jest dla ciebie idealne. Tylko nie zapomnij, że prawdopodobnie będziesz chciał w jakiś sposób prowadzić bibliotekę taśm w oprogramowaniu. Ale kiedy opuścisz bibliotekę, nie zapomnij znaleźć taśmy i załadować ją, a także obszar przejściowy dla dostępu ...
źródło