Rozwiązania do automatycznego przechowywania warstwowego Home-Brew z Linuksem? (Pamięć -> SSD -> HDD -> pamięć zdalna)

13

Powiązane z tym pytaniem dotyczącym używania dysku SSD dla systemu i dysku twardego dla danych , z tym że chciałbym, aby mój system zrobił to automatycznie ...

Czy możliwe jest posiadanie kilku warstw pamięci i automatyczne przesuwanie przedmiotów między nimi, przy użyciu najlepiej darmowego oprogramowania typu open source?

Znam bardzo drogie rozwiązania klasy korporacyjnej, takie jak automatyczna archiwizacja EMC SAN-> EMC Centera , ale zastanawiałem się, czy tego rodzaju magazynowanie etapowe jest możliwe automatycznie.

Byłoby miło mieć w tym kilka warstw: Memory-> SSD-> HDD-> wolniejszy HDD lub taśmę lub inne rozwiązanie archiwizujące.

Czy istnieją systemy plików, które mogą to zrobić automatycznie? (ZFS, Btrfs, HAMMER?)

Wszelkie warianty uniksowe są w porządku, ponieważ interesuje mnie, jak to działa i czy może być przenośne na Linuksa lub inne smaki (BSD itp.).

linux unix ssd archive storage David Gardner
źródło

Odpowiedzi:

14

Cóż, ZFS używa warstw pamięci o nazwie Hybrid Storage Pool (HSP) :

  1. Warstwa: pamięć
  2. Warstwa: pamięci podręczne odczytu oparte na dyskach SSD (L2ARC) i pamięci podręczne zapisu (oddzielne hasło logu, inaczej slogan).
  3. Warstwa: (tanie) dyski twarde

Dzięki HSP łatwo można automatycznie korzystać z zalet dysków SSD w porównaniu z rozwiązaniem przeznaczonym wyłącznie na dysk twardy. System wykorzystujący HSP może być zarówno szybszy, jak i tańszy niż ten drugi. Zobacz ten link, aby uzyskać kilka miłych przykładów i więcej szczegółów.

Myślę, że istnieją plany dotyczące hierarchicznego zarządzania pamięcią masową (HSM) dla ZFS (patrz na przykład projekt OpenSolaris w zakresie automatycznej migracji danych (ADM) ), ale nie znam jego obecnego stanu.

knweiss
źródło
Właśnie o tym myślałem, dzięki! (Teraz, aby pomóc w porcie Linux ...;)
David Gardner
Nie nazwałbym tego poziomem, ale buforowaniem. W tym sensie, że buforowanie oznacza przechowywanie kopii często używanych bloków, warstwowe przenoszenie danych do wolniejszego / szybszego przechowywania. Nie będę nazywał dziennika intencyjnego w ZFS prawdziwą pamięcią podręczną zapisu, jeśli dobrze go zrozumiem.
mrossi
5

TIER wydaje się odpowiadać na twoje potrzeby Jest to moduł jądra systemu Linux, który może tworzyć wielopoziomową pamięć masową. Wydaje się, że sam uczy się wzoru i optymalizuje umieszczenie w magazynie

http://www.lessfs.com/wordpress/?p=776

Dolanor
źródło
Właśnie zobaczyłem, że pytanie jest stare ... Przepraszamy ^^ '
Dolanor
2
Rewitalizacja starych pytań jest lepsza niż gnicie ze starymi i nieaktualnymi informacjami na ich temat!
David Gardner,
Martwię się, że ten facet chce zmniejszyć nadmiarowość ze względu na dodatkową pojemność (szczególnie, gdy dyski SSD są stosunkowo małe i zawodne).
Tobu,
Martwi się również, że sugeruje rajd jako rozwiązanie, gdy oprogramowanie eksperymentalne najbardziej potrzebuje kopii zapasowych.
Tobu,
Oto trochę więcej pozytywnych opinii: permalink.gmane.org/gmane.comp.file-systems.ceph.devel/8316
Tobu
1

Odpowiadając na moje pytanie czymś, co właśnie znalazłem:

Właśnie aktualizowałem jądro i patrzyłem na nowe rzeczy, które zostały dodane, i jest teraz opcja „CACHEFILES”, która pozwala buforować (zwykle zdalne) systemy plików do lokalnego systemu plików. Myślę, że mógłbym użyć tego do buforowania wolniejszego mechanizmu pamięci masowej (HDD) do szybszego (SSD), przynajmniej dla jednego poziomu hierarchii.

David Gardner
źródło
Wypróbowałeś to rozwiązanie? Jak to działa?
skolima
1
Nevermind - sam się przekonałem, że CacheFS na razie obsługuje tylko NFS i AFS.
skolima
Używanie do tego sieciowych systemów plików nie jest złym pomysłem, mają tendencję do dojrzewania znacznie szybciej niż łaty jądra. Zastanawiam się, czy Ceph lub DRBD mają przydatne tryby dla warstwowego przechowywania.
Tobu,
1

Niektóre odpowiednie linki. YMMV.

http://code.google.com/p/fscops/ - „Online Hierarchical Storage Manager (OHSM) to pierwsza próba w kierunku menedżera przechowywania danych typu open source na poziomie przedsiębiorstwa, który automatycznie przenosi dane między kosztownymi a niskimi kosztami przechowywania głoska bezdźwięczna.".

http://www.tack.ch/unix/dmapi/ - XFS + DMAPI w systemie Linux

http://jfs.sourceforge.net/ - JFS + DMAPI w systemie Linux

sendmoreinfo
źródło
Projekt OHSM wygląda ciekawie. Obsługiwane jest tylko jądro ext2 i 2.6.30, ale spodziewam się, że jeśli zadziała dobrze, zyska to więcej systemów plików.
David Gardner
Ten projekt wygląda na opuszczony, ostatnia aktywność miała miejsce w 2009 roku.
sendmoreinfo
0

Migawki LVM2 przychodzą mi na myśl ... ale tak naprawdę nie można zrobić więcej niż jedną migawkę.

dyasny
źródło
0

SAM-QFS to istniejący produkt firmy Sun, który został otwarty w zeszłym roku. Jest to CDDL, więc można go tylko bezpośrednio przenieść na * BSD.

TRS-80
źródło