Jakie narzędzia i koncepcje są dobre dla kogoś, kto myśli o użyciu kompresji systemu plików HFS?

12

Mam klienta z około 60 TB danych na wielu woluminach HFS +, podłączonych bezpośrednio przez kanał światłowodowy i udostępnianych za pomocą AFP. Obecnie dysponujemy około 85% pojemności, a budżet na rozbudowę przestrzeni dyskowej nie wejdzie w grę przez wiele miesięcy. Nasz wzrost danych sugeruje, że osiągniemy 90% pojemności w ciągu czterech miesięcy. Zastanawiam się nad jakąś lokalną kompresją systemu plików, która transparentnie kompresowałaby pliki w spoczynku w pamięci, nie zmieniając jednak przepływu pracy użytkowników pulpitu. (Oznacza to, że powinny po prostu działać jak zwykle bez konieczności rozpakowywania plików).

Rozumiem, że kompresji systemu plików HFS + można dokonać za pomocą polecenia ditto; Z powodzeniem korzystałem również z bezpłatnego programu afsctool do kompresji plików. Ten ostatni nie był aktualizowany od dłuższego czasu i nie jestem pewien zaangażowania dewelopera. Nie jestem programistą, więc kod źródłowy niewiele dla mnie znaczy.

Czy są jakieś alternatywne narzędzia komercyjne, które po cichu automatycznie wykonają kompresję systemu plików w sposób, którego szukam? Najlepszym rozwiązaniem byłoby niezawodne wsparcie dla przedsiębiorstwa dla narzędzia (powiedzmy wsparcie telefoniczne). Czy też lepiej byłoby mi okresowo kompresować skrypty używając ditto? Czy kompresja HFS + jest właściwą ścieżką?

storage hfs flumignan
źródło

Odpowiedzi:

7

Najpierw powinieneś dowiedzieć się, czy kompresja jest tego warta. Zależy to w dużej mierze od rodzaju przechowywanych treści. Jeśli zawartość nie jest kompresowalna (obrazy JPEG, większość formatów wideo, archiwa ZIP itp.), Korzyści są niewielkie, a dodatkowe obciążenie związane z dekompresją może nawet spowodować (niewielkie) spowolnienie dostępu do plików.

Kompresja HFS + jest prawdopodobnie niewłaściwym narzędziem z kilku powodów. Po pierwsze, kompresja nie jest przezroczysta, tylko dekompresja. Oznacza to, że jeśli plik jest przechowywany w postaci skompresowanej, podczas odczytu zostanie on przezroczyście zdekompresowany, ale nowo utworzony plik nie zostanie domyślnie skompresowany.

Co gorsza, po zastąpieniu lub dołączeniu do skompresowanego pliku, zostanie on ponownie zapisany bez kompresji HFS +. Dlatego jeśli chcesz używać kompresji HFS + z danymi użytkownika, najpierw musisz skopiować cały wolumin (używając ditto lub afsctool), plik po pliku. Na 60 TB może to potrwać dość długo. Ponadto będziesz musiał regularnie uruchamiać proces, który określa, które pliki zostały ostatnio dodane / zmodyfikowane (lub nie są skompresowane) i (ponownie) je skompresuje.

Jak podaje strona podręcznika ditto, kompresja HFS + „jest przeznaczona do użycia tylko w scenariuszach instalacji i tworzenia kopii zapasowych z udziałem plików systemowych” . Jest świetny dla twojego /Applicationsfolderu, ale nie bardzo odpowiedni dla twojego filera. Tylko jeśli naprawdę zależy ci na pojemności i masz wiele plików, które nigdy nie zostaną zapisane, nawet bym to rozważył. Klucz do desperacji :)

Nie znam żadnych przezroczystych pakietów kompresji na poziomie systemu plików dla OS X. ZFS obsługuje przezroczystą kompresję systemu plików, ale zmiana systemu plików na OS i FS może nie być opcją (ponieważ niestety nie ma pełnej implementacji ZFS dla Mac OS X).

Ingmar Hupp
źródło
1
To jest bardzo pomocne. Rzeczywiście, nasze obecne ograniczenia budżetowe są takie, jakie są i biorąc pod uwagę tempo zużycia pamięci, ten rodzaj kompresji może być właściwy. Ta instalacja zawiera dziesiątki milionów małych plików obrazów medycznych, które dobrze się kompresują (około 25%). Powiedziałbym, że 80% istniejącego systemu plików jest nietknięte od miesięcy, więc kompresja HFS może być dobrym kandydatem do zatrzymania nas, dopóki nie będziemy mogli kupić więcej przestrzeni dyskowej. Xserve jest dość mocny, a przy odpowiednim uruchomieniu przedmiotu i skrypcie mógłbym selektywnie kompresować starsze, rzadziej używane projekty w tle poza godzinami pracy.
flumignan