Wybór systemu plików dla nalotu 16 TB

9

Właśnie łączę maszynę z ośmioma dyskami 2 TB.

Będę na nich używał Raid 6 (12 TB użytecznej pojemności), ale nie jestem pewien, czy powinienem zrobić LVM na RAID, czy jakiego systemu plików użyć.

Jakie systemy plików można zmienić, jeśli są używane w LVM?

filesystems lvm raid Šimon Tóth
źródło
3
Aby odpowiedzieć na twoje dosłowne pytanie: te same, których rozmiar można zmienić, gdy nie są używane w LVM. LVM nie ma znaczenia dla tego wyboru, chyba że zamierzasz używać systemu, który ma wbudowaną funkcjonalność (co obecnie oznacza ZFS; a IIRC ZFS ma również wbudowaną RAID-6).
Gilles „SO - przestań być zły”

Odpowiedzi:

6

Dzięki lvm na urządzeniu RAID możesz elastycznie tworzyć na nim wiele urządzeń wirtualnych (i systemów plików). I możesz elastycznie zmieniać rozmiar tych urządzeń.

Jeśli jesteś w 100% pewien, że nie potrzebujesz tego i potrzebujesz tylko jednego dużego systemu plików, możesz bezpośrednio utworzyć system plików na urządzeniu RAID. W takim przypadku usuwana jest jedna warstwa pośredniczości i złożoności.

Aby wybrać system plików, najważniejsze punkty to:

  • powinien być dobrze przetestowany i stabilny
  • powinno być wystarczająco głównym nurtem
  • oczywiście dobra wydajność

Oznacza to, że jeden jest zazwyczaj konserwatywny, jeśli chodzi o systemy plików.

Korzystając z tych kryteriów, masz w zasadzie 3 opcje do wyboru w Linuksie (od 2011-06:

  • ext3
  • ext4
  • XFS

Na dużych urządzeniach używam XFS, ponieważ a mkfs.xfsjest znacznie szybszy.

Można zmienić rozmiar wszystkich tych systemów plików.

Aktualizacja:

Zrobiłem mały test porównawczy na urządzeniu o pojemności 3 TB (używając rozmiaru bloku 4k we wszystkich systemach plików):

$ awk -F\; -f mkfs.awk mkfs
          FS     SIZE(TB)      TIME(S)      RSS(MB)      SPEEDUP      SPACEUP
        ext3            1          217           37         1.00         1.00
        ext3            2          478           74         1.00         1.00
        ext3            3          829          111         1.00         1.00
        ext4            1          139           37         1.55         1.00
        ext4            2          298           74         1.60         1.00
        ext4            3          515          111         1.61         1.00
         xfs            1            5            2        43.23        17.01
         xfs            2            9            2        51.43        33.49
         xfs            3           15            2        54.73        50.05

(Prędkość / mem-up jest w stosunku do ext3)

(System: Debian 6.0 amd64, mkfs.ext 1.41.12, mkfs.xfs 3.1.4, dysk WD SATA, hdparm -t około 120 MB / s odczytów z dysku buforowanego)

Oznacza to, że mkfsing systemu plików ext [34] jest do 54 razy wolniejszy niż mkfsing systemu xfs. Przybliżenie tego do 12 TB, tworząc rozszerzenie, zajmie naprawdę około godziny (xfs tylko około minuty).

maxschlepzig
źródło
Lubię też XFS, ale czy to nie wydaje się głupie, aby wybrać go jako system plików tylko ze względu na szybkość początkowego formatu?
Caleb
4
Warto zauważyć, że jeśli planujesz później rozwijać RAID, ext4 jest ograniczony do objętości 16TiB (według Wikipedii ).
Gert
@Caleb, cóż, jeśli zajmuje to, powiedzmy, godziny dłużej, a inne funkcje nie mają znaczenia w przypadku użycia systemu, to jedyna różnica się liczy. Zrobię mały test porównawczy mkfs na urządzeniu o pojemności 3 TB - być może @Let_Me_Be mógłby zrobić to samo w swoim systemie - byłoby to interesujące.
maxschlepzig
2
@Gert: Nie, ograniczenie dotyczy aktualnej wersji ext2progs- format Ext4 obsługuje woluminy o wielkości do 1 eksabajta.
Teddy
1
Najnowsze wersje pliku mkfs.ext4 są DUŻO szybsze, ponieważ opóźnia większość formatowania, które należy wykonać w tle po zamontowaniu. Również czasy fsck są znacznie szybsze na ext4 niż ext3.
psusi
1

W większości naszych skrzynek produkcyjnych z Linuksem używamy lvm + ext2 / ext3 zależy od tego, czy klient żąda kronikowania / ext3 / czy nie / ext2 /

W twoim przypadku wybrałbym ahaead i zbudowałbym lvm + ext2, chyba że korzystałbyś z kronikowania więcej niż tworzy to narzut .. ale jest coś więcej do wzięcia pod uwagę dokładnie tak , jak opisuje maxschlepzig .

njekto
źródło