Moje laboratorium jest w trakcie konfigurowania małego serwera, który przechowuje dane (głównie dane wideo i zdjęcia oraz kilka dokumentów) dla projektu, nad którym grupa aktualnie pracuje. Historycznie, po zakończeniu projektu badawczego, dane losowe są archiwizowane na jednym dysku twardym lub dużym stosie płyt DVD (lub płyt CD w dawnych czasach) i / lub niektóre filmy wideo trafiły do kaset Sony DV, a nawet Taśmy VHS (to laboratorium działa od wczesnych lat 90.), LUB połączenie wszystkich powyższych ...
Pytanie: Jaki jest najlepszy sposób (1) skonsolidowania ich WSZYSTKICH w tym samym formacie ORAZ nośnika pamięci, oraz (2) jaki jest najlepszy nośnik do długoterminowej archiwizacji takich danych w celu uzyskania sporadycznego dostępu (powiedzmy ponad 30 lat?)? Niestety nie mamy budżetu na poziomie przedsiębiorstwa (jesteśmy tylko 10-osobowym laboratorium), więc nie możemy robić rzeczy, które kosztują setki tysięcy dolarów.
Dzięki!
PS Biorąc pod uwagę, że nasze stare filmy i obrazy mają mniejszą rozdzielczość, ale najnowsze są ogromne, myślę, że mówimy o 30 ~ 40 TB dla naprawdę starych danych, kolejne 10 ~ 20 TB dla najnowszych danych, a następnie coroczne dodawanie około 5 TB .
Całkowicie zgadzam się z postem sysadmin1138 pod każdym względem z jednym zastrzeżeniem - nie sądzę, że będziesz miał budżet, aby naprawdę osiągnąć to, czego chcesz.
Istnieje 5 głównych funkcji, które musisz stworzyć;
Więc to, co chcesz zrobić, może być zrobione, robiłem to sam wiele razy w ciągu ostatnich dwóch dekad - ale obawiam się, że żadne nie było tanie.
Powodzenia.
źródło
Inni udzielili dobrych porad na temat tworzenia kopii zapasowych mediów. Proponuję poświęcić trochę czasu na zapoznanie się z biblioteką wytycznych kongresu:
http://www.digitalpreservation.gov/formats/index.shtml
Możesz także rozważyć zbudowanie taniej tablicy ZFS whitebox. Prawdopodobnie możesz zrobić coś, aby zaspokoić swoje potrzeby za mniej niż 10 000 USD. Gdy dyski giną, zamieniaj je na większe, co zwiększa pojemność pamięci podczas generowania danych. To prawdopodobnie utrzyma cię przez dłuższy czas, a gdy się zestarzeje, możesz je wymienić na urządzenie o większej pojemności. Zaletą jest to, że twoje dane są w trybie online (a więc można uzyskać do nich dostęp w razie potrzeby) i są stosunkowo dobrze chronione przed bitrotem, poważnym problemem, gdy masz tak dużo danych.
Udostępniono tutaj opcję przyzwoitej kompilacji:
http://www.zfsbuild.com/
źródło
Choć jest to trudne dla technologów, zaleciłbym natychmiastowe zatrzymanie przemyśleń na temat dysków i technologii. Podziel swój problem biznesowy na rzeczy, o których musisz podejmować decyzje.
Przykład:
źródło
Pamiętaj, że jeśli przechowujesz dane w formacie stratnym, a następnie konwertujesz na inny format stratny, a następnie inny, jakość wideo pogorszy się z każdym przejściem.
Mówi się o dźwięku, ale ogólnie to samo dotyczy:
http://www.vorbis.com/faq/#transcode
Prawdopodobnie najlepiej wybrać format bezstratny, ponieważ po wybraniu jednego formatu stratnego utkniesz z nim.
źródło
Być może brakuje mi czegoś, czy nie możesz zakodować wszystkiego przy użyciu otwartego formatu, w którym dostępny jest kod źródłowy kodeków, a następnie po prostu przykleić to wszystko na Amazon S3?
W ten sposób Amazon musi się martwić o faktyczne przechowywanie danych, a jeśli nie będzie komputerów, które mogłyby skompilować C / C ++ za 30 lat, będziesz w stanie uzyskać informacje ...
źródło