Długoterminowe przechowywanie krytycznych danych biznesowych

16

To jest naprawdę trudne i do pewnego stopnia nie jest to problem techniczny i może nie być tutaj, ale

Błąd serwera jest przeznaczony dla administratorów systemu ... którzy zarządzają komputerami lub utrzymują je w profesjonalny sposób

I robię ... i to jest jedno z moich zadań .. W każdym razie.

Wyobraź sobie, że masz ponad 5000 dwustronnych stron formatu A4. Dane firmy, wszystkie kluczowe dla biznesu.
Musisz jakoś to zrobić. Dotychczasowe proponowane rozwiązania to:

  1. PDF -> Pamięć online
  2. PDF -> DVD / BluRay / Tape
  3. PDF -> Przenośny dysk HDD / SSD / Flash.
  4. Kup / Leasing / Zatrudnij / „Kradnij” dużą kserokopię i rób kopie.
  5. ???

Natychmiastowe problemy z powyższym:

  1. Co się stanie, jeśli partner magazynu ulegnie awarii?
  2. Płyty DVD z czasem gniją. Taśmy podobnie.
  3. Te też pękają z czasem.
  4. Kosztowny. Powolny. Ciężki. Nie przyjazny dla drzewa.

Pytania):

Jaki jest złoty standard przechowywania i archiwizacji danych w długim i średnim okresie? Czy rozwiązałeś podobny problem w miejscu pracy?

Po wstępnym załadowaniu istnieje potrzeba dodania do kolekcji około 100 stron miesięcznie. Wyszukiwanie powinno być możliwe, łatwo, ale prawdopodobnie jest rzadkie.
Idealnie chciałbym zagwarantować, że rozwiązanie będzie funkcjonować długo po odejściu z firmy i że nie będzie wymagało ogromnej kwoty, aby utrzymać go w utrzymaniu, więc przechowywanie wielu wielu płyt DVD jest nie tylko idealne, ale także nie dobre długoterminowe rozwiązanie.

Chociaż wykonywanie kopii papierowych jest z pewnością najłatwiejsze, nie jest to najbardziej przyjazne dla środowiska, nie na dłuższą metę. Jest to również niezbyt łatwe w zarządzaniu, trudne do wyszukiwania, indeksowania itd. W połączeniu z ciężkim i trudnym do fizycznego przechowywania.

Zasadniczo podoba mi się pomysł przechowywania wszystkiego w formie elektronicznej, ale faktyczny mechanizm robienia tego musi być przejrzysty i łatwy. Naprawdę nie chcę ponosić odpowiedzialności za to na zawsze i za jeden dzień, wspierając użytkowników biurowych, gdy robią to i gubią dokumenty. Nie chcę też polegać na jednym dostawcy pamięci masowej, co jeśli Dropbox (mamy bankomat z rozwiązaniem do tworzenia kopii zapasowych online, ale to nie jest Dropbox.) Miałby ulec awarii lub doświadczyć katastrofalnego wydarzenia, ilu firm kto korzysta z ich usług, byłby w potoku, bez wiosła?

Istnieje tu pewna elastyczność budżetu, ale podejrzewam, że wszystko, co kosztuje więcej niż nasza obecna kopia zapasowa online (która wynosi 2500 USD / rok), byłoby postrzegane mniej niż przychylnie, w porównaniu do zwykłego umieszczenia go w pudełku po butach. Co bez wątpienia stanie się, gdybym nic nie zrobił i jutro zrezygnował.

Jakieś pomysły?

-Edytować-

Powód tego jest dwojaki.

1) zapewnia rozsądne bezpieczne tworzenie kopii zapasowych dokumentów o kluczowym znaczeniu dla biznesu na wypadek, gdyby biuro spłonęło.

2) w celu spełnienia przepisów dotyczących archiwizacji danych i przepisów podatkowych WRT dla przedsiębiorstw i tak dalej.

Edycja 2:

Posiadanie jakiegoś mechanizmu indeksowania dokumentów również byłoby cholernie przydatne.

Tom O'Connor
źródło
Podłączyłem szybki skrypt do zrobienia PDF-> Txt z ghostscript i gocr. Bezczynnie rozważa umieszczenie wszystkiego w bazie danych SQLlite, aby stworzyć interesujący indeks danych.
Tom O'Connor,
Redundancja (mediów cyfrowych) i utrzymywanie redundancji przez lata może być twoim najlepszym przyjacielem.
Vortico,

Odpowiedzi:

5

Przechowywanie danych w formacie takim jak PDF jest prawdopodobnie bezpieczne, ponieważ istnieją bezpłatne narzędzia do ich odczytu. Objętość danych, o których mówisz, jest dość mała (1200 stron rocznie), więc nawet przy rozdzielczości skanowania 300 dpi mówisz tylko o dziesiątkach gigabajtów rocznie.

Jednak problem fizycznego urządzenia pamięci nigdy nie zniknie. Niezależnie od tego, jakiego nośnika używasz do przechowywania danych elektronicznych (taśmy, urządzenia optyczne itp.), W końcu trzeba będzie go zaktualizować do nowszego nośnika. Zaplanuj i zaplanuj budżet na „przeniesienie danych w dół” do nowych formatów, ponieważ nowe formaty zastępują starsze.

Prawdopodobnie spojrzałbym na nośniki optyczne jako pierwszy wybór tylko dlatego, że masz tak mało danych. Chciałbym też nagrywać 3 razy duplikaty wszystkiego i odświeżać media co 2-3 lata.

Jeśli nośnik optyczny jest zbyt mały, wybieram taśmę LTO i odświeżam nośnik co 4 - 5 lat. W przypadku tak małej ilości danych będzie to jednak dość drogie.

Evan Anderson
źródło
PŁYTA DVD? Czy Blu-ray? Czy BR jest już rozsądnym formatem danych?
Tom O'Connor
1
@Tom O'Connor: Wydają mi się takie same. Podjąłbym decyzję o koszcie. Obecnie dostępne są blanki Blu-Ray klasy „archiwalnej”, więc z technicznego punktu widzenia wydaje się to realnym formatem. (Producenci, którzy twierdzą, że media Blu-Ray mają „oceniany” czas życia wynoszący 200 lat, nie dają mi więcej pewności niż ci, którzy twierdzili, że archiwalne nośniki DVD mają 100-letni „oceniany” czas życia ...)
Evan Anderson
Mam kilka płyt CD-R Kodak GOLD z około 1998 roku i nadal są one czytelne. Mam też kilka wolnych, w których warstwa barwnika oddzieliła się i są przykręcone.
Tom O'Connor,
Nie sugeruję, że nie ma różnicy między mediami archiwalnymi a niearchiwalnymi. Po prostu mówię, że nośniki archiwalne Blu-Ray w porównaniu do nośników archiwalnych DVD nie wydają mi się bardzo różne. Porównywanie klasy archiwalnej z mediami „wrzeciono 100 za 20,00 $” to zupełnie inna historia.
Evan Anderson
Jedną z niewymienionych pozycji była pamięć półprzewodnikowa (dyski USB): większa niż optyczna, mniejsza niż LTO. USB prawdopodobnie będzie dostępny przez co najmniej kolejną dekadę lub dwie, a dysk 16 GB lub 32 GB (lub dwie lub trzy) jest dość tani pod względem kosztów archiwizacji. Ponieważ ma to być zapis jednokrotnego odczytu, nie musisz martwić się zużyciem komórek SSD, więc teoretycznie możesz trzymać pałki przez 5 lub więcej lat w ognioodpornym skarbcu.
voretaq7
6

Istnieją określone systemy, które wewnętrznie wykorzystują dyski DVD i co jakiś czas migrują dane na nowe nośniki. Wyszukaj konserwację cyfrową.

Ponieważ wymagania dotyczące miejsca do przechowywania rosną dość szybko, wskazane jest, aby co kilka lat przestawiać się na nowszy, większy typ nośnika.

Zakładając, że otrzymujesz dane w formie papierowej, musisz:

  1. Wymień dane przy wprowadzaniu poczty. Może to oznaczać nadanie każdemu arkuszowi unikalnego kodu kreskowego.
  2. Zeskanuj to. Użyj identyfikatora kodu kreskowego jako nazwy pliku. Zarchiwizuj artykuł.
  3. Archiwizuj dane. Umieść dane w bezpiecznym systemie archiwizacji wersji. Serwer plików nie będzie wystarczająco dobry, ponieważ coś może się stać z plikami, jeśli są dostępne do zapisu.
  4. Udostępnij go innym systemom.

W przypadku klientów wszystkie faktury dla dużych organizacji muszą zostać przeniesione do systemu online (SAP). Przechowywanie archiwum przeszło już kilka iteracji. Obecnie przechodzą na niebieski promień.

Z drugiej strony w dzisiejszych czasach wszystko idzie na dyski, więc być może coś w tym stylu byłoby dobrym wyborem: http://www.eurostor.com/german/iTernity.D.php

Posipiet
źródło
Należy pamiętać, że większość płyt DVD-R (i in.) Trwa tylko kilka lat przed degradacją. Drogie „archiwalne” rzeczy trwają dłużej, jeśli są przechowywane zgodnie z instrukcjami.
Chris S
Podobnie jak większość dysków, serwerów, systemów plików lub formatów dokumentów. Archiwizacja oznacza przeniesienie danych. Spróbuj przeczytać pdf w ciągu 20 lat. Czy pamiętasz jaki był standard 10 lat temu? Naprawdę nie mamy nic, co byłoby bliskie papierowi. Z wyjątkiem kopiowania i wklejania ...
Posipiet
Dokumenty czysto tekstowe są nadal dość czytelne.
Bart Silverstrim
Istnieją bezpłatne narzędzia do czytania plików PDF. Dopóki są one „zwykłą wanilią”, nie martwiłbym się zbytnio. TIFF to również dobra opcja.
Evan Anderson
3

Nasze rozwiązanie: Skanuj do PDF -> Kopia zapasowa na taśmie

Mamy skaner dokumentów, wykonuje około 30 stron / min i wytwarza pliki OCRed PDF. Wspieramy te do Tape (w szczególności LTO4), który ma okres przechowywania od 50 do 100 lat (znalezienie napędu taśmowego może być trudne w określonym czasie, ale istnieją miejsca do odzyskiwania danych, które nadal będą w stanie odzyskać dyskietki 8 ").

Chris S.
źródło
2
Musiałem google 8 "dyskietki ....
Holocryptic
Zachowuję kopie zapasowe taśm z systemu Mac OS 7.5. Ale dysk się zepsuł, nośnik programów do tworzenia kopii zapasowych został utracony. Udało mi się ponownie zainstalować komputer Mac, ale nie mogę odczytać taśmy, ponieważ nie mam programu do tworzenia kopii zapasowych. I szczerze mówiąc, nawet nie pamiętam, jak się nazywa. Tak, taśma może trwać 100 lat. Ale czytelnik nie.
Posipiet
@Holocryptic: Zaledwie kilka miesięcy temu wyrzuciłem nieotwarte pudełko dyskietek 8 "firmy Verbatim o twardych
sektorach
1
@Holocryptic: NSFW! NSFW !!
Bart Silverstrim
@Posipiet, myślę, że opisałem fakt, że dyski nie trwają wiecznie, ale istnieją firmy specjalizujące się w odzyskiwaniu danych z prawie wszystkich powszechnie używanych nośników.
Chris S
3

Myślę, że nowa usługa Glacier firmy Amazon jest interesującą ofertą w tej przestrzeni.

Amazon Glacier jest zoptymalizowany pod kątem danych, do których rzadko uzyskiwany jest dostęp i dla których odpowiedni jest czas pobierania wynoszący kilka godzin. Dzięki Amazon Glacier klienci mogą niezawodnie przechowywać duże lub małe ilości danych za zaledwie 0,01 USD za gigabajt miesięcznie, co stanowi znaczne oszczędności w porównaniu z rozwiązaniami lokalnymi.

ewwhite
źródło
2
Koszty wyszukiwania są niesamowicie ogromne.
Tom O'Connor,
2

Krok pierwszy: Wykonaj kopię zapasową: OCR dokumenty, a następnie ponownie ułóż wszystkie słowa w serię powieści o Kościele katolickim, Opus Dei i templariuszach. Powinieneś mieć wystarczającą ilość danych wejściowych dla około 10 powieści i około jednej więcej każdego roku na zawsze. Utrzymaj tabelę odnośników, w której znajdują się słowa oryginalna lokalizacja w dokumentach źródłowych (w kolejności źródłowej), a jej ostateczna lokalizacja w powieściach; przechowuj duplikaty słów w jednym wpisie w tabeli. Zabezpiecz ofertę wydawniczą i uzyskaj miliony powieści. Skorzystaj z przychodów ze sprzedaży książek, aby sfinansować operację OCR i rearanżację słów. Niszcz oryginalne dokumenty i sprzedawaj je jako pościel dla chomika. Czasami może być konieczne składanie zamówień na krucyfiksy, antymaterię lub bilety lotnicze do egzotycznych miejsc, jeśli okaże się, że brakuje ci słownictwa w dokumentach wejściowych.

Krok drugi, Odzyskiwanie / dostęp: Nie musisz przechowywać kopii danych - wystarczy tablica odnośników i księgarnia z drugiej ręki.

Ponieważ tabela odnośników jest Twoim pojedynczym punktem awarii, nadal będziesz musiał to zrobić. Dzięki zastosowanemu schematowi kodowania huffmana będzie on dość mały w porównaniu do dokumentów wejściowych, więc prawdopodobnie można go skopiować na DVD. Aby wykonać kopię zapasową poza siedzibą, usiądź przed kominkiem i przeczytaj tabelę wyszukiwania, jednocześnie nagrywając wideo. Umieść swój spektakl wideo na fuzji sztuki i technologii w Tate Modern Gallery na stałe.

Zamek Duncana
źródło
1

Trochę za wcześnie, aby kupić, ale wydaje się, że HDS wymyślił stały mechanizm przechowywania danych oparty na kwarcu - weź CZYTAJ .

Siekacz 3
źródło
1
Słyszałem o roszczeniu o trwałość tak wiele razy, że nigdy w to nie uwierzę i żadne z nas nie przeżyje wystarczająco długo, aby to udowodnić. Prognozy trwałości są absolutnie bezwartościowe i niezmiennie stają się błędne.
John Gardeniers,
-2

Muszę przedstawić Humyo.com (kupiony przez Trend Micro - drugie imię to bezpieczeństwo)

Szyfrują wszystkie dane użytkowników, a ich serwery są przechowywane w Bank Of England w przechowalni.

Całkiem bezpiecznie :)

benhowdle89
źródło
1
Założę się, że tak naprawdę nie są w Banku Anglii. Nie ma tam miejsca, jest pełna bankierów.
Tom O'Connor,
5
Trend Micro, którego drugie imię to bloatware ...
Tom O'Connor
Zgadzam się z Tobą w sprawie Trend Micro, ale oni są jego właścicielami, pracujesz z oprogramowaniem
Humyo