Prowadzę stronę internetową, na której około 10 milionów plików (okładek książek) jest przechowywanych w 3 poziomach podkatalogów, w zakresie [0-f]:

0/0/0/
0/0/1/
...
f/f/f/

Prowadzi to do około 2400 plików w katalogu, co jest bardzo szybkie, gdy musimy pobrać jeden plik. Jest to zresztą praktyka sugerowana przez wiele pytań .

Jednak kiedy muszę wykonać kopię zapasową tych plików, przeglądanie katalogów 4k zawierających 10 milionów plików zajmuje wiele dni.

Zastanawiam się więc, czy mógłbym przechowywać te pliki w kontenerze (lub w kontenerach 4k), z których każdy działałby dokładnie jak system plików (jakiś rodzaj zamontowanego kontenera ext3 / 4?). Wydaje mi się, że byłoby to prawie tak samo wydajne, jak bezpośredni dostęp do pliku w systemie plików, a miałoby to tę wielką zaletę, że bardzo skutecznie zostało skopiowane na inny serwer.

Wszelkie sugestie, jak to zrobić najlepiej? Lub jakaś realna alternatywa (noSQL, ...)?

Opcje szybkiego dostępu i tworzenia kopii zapasowych milionów plików

Pożycz od osób z podobnymi problemami

To brzmi bardzo podobnie do łatwiejszego problemu, z którym borykają się serwery wiadomości USENET i buforowanie serwerów proxy: setki milionów małych plików, do których dostęp jest losowy. Możesz wziąć od nich podpowiedź (z tym, że zazwyczaj nie muszą oni robić kopii zapasowych).

http://devel.squid-cache.org/coss/coss-notes.txt

http://citeseer.ist.psu.edu/viewdoc/download;jsessionid=4074B50D266E72C69D6D35FEDCBBA83D?doi=10.1.1.31.4000&rep=rep1&type=pdf

Oczywiście cykliczny charakter systemu plików wiadomości cyklicznych jest dla ciebie nieistotny, ale koncepcja niższego poziomu posiadania wielu plików / urządzeń dyskowych z zapakowanymi obrazami i szybkiego indeksu z informacji dostarczonych przez użytkownika w celu wyszukiwania informacji o lokalizacji jest bardzo odpowiednia.

Dedykowane systemy plików

Oczywiście są to tylko podobne pojęcia do tego, o czym rozmawiali ludzie, tworząc system plików w pliku i montując go w pętli zwrotnej, tyle że można napisać własny kod systemu plików. Oczywiście, ponieważ powiedziałeś, że twój system jest w większości do odczytu, możesz tak naprawdę dedykować partycję dyskową (lub partycję lvm dla elastyczności w doborze) do tego jednego celu. Aby utworzyć kopię zapasową, zamontuj system plików tylko do odczytu, a następnie wykonaj kopię bitów partycji.

LVM

Wspomniałem LVM powyżej jako przydatne do dynamicznego określania rozmiaru partycji, dzięki czemu nie trzeba tworzyć kopii zapasowej dużej ilości pustego miejsca. Ale oczywiście LVM ma inne funkcje, które mogą być bardzo przydatne. W szczególności funkcja „migawki”, która pozwala chwilowo zamrozić system plików. Przypadkowe rm -rflub cokolwiek innego nie zakłóciłoby migawki. W zależności od tego, co dokładnie próbujesz zrobić, może to być wystarczające dla potrzeb tworzenia kopii zapasowych.

RAID-1

Jestem pewien, że znasz już macierz RAID i prawdopodobnie już używasz jej w celu zapewnienia niezawodności, ale RAID-1 może być również używany do tworzenia kopii zapasowych, przynajmniej jeśli używasz programowego RAID (możesz go używać ze sprzętowym RAID, ale tak naprawdę daje niższą niezawodność, ponieważ może wymagać odczytu tego samego modelu / kontrolera wersji). Koncepcja polega na tym, że tworzysz grupę RAID-1 z jednym dyskiem więcej, niż potrzebujesz do podłączenia do normalnych potrzeb w zakresie niezawodności (np. Trzeci dysk, jeśli używasz programowego RAID-1 z dwoma dyskami lub być może dużym dyskiem i sprzętem- RAID5 z mniejszymi dyskami z programowym RAID-1 na sprzętowym RAID-5). Kiedy przyjdzie czas na wykonanie kopii zapasowej, zainstaluj dysk, poproś mdadm o dodanie tego dysku do grupy RAID, poczekaj, aż wskaże on kompletność, opcjonalnie poproś o weryfikację, a następnie usuń dysk. Oczywiście,

Możesz zamontować wirtualny system plików za pomocą menedżera pętli zwrotnej, ale chociaż przyspieszy to proces tworzenia kopii zapasowej, może to mieć wpływ na normalne operacje.

Inną alternatywą jest wykonanie kopii zapasowej całego urządzenia za pomocą dd. Na przykład dd if=/dev/my_device of=/path/to/backup.dd.

Jak zapewne wiesz, twoim problemem jest lokalizacja. Typowe wyszukiwanie dysku zajmuje około 10 ms. Tak więc wywołanie „stat” (lub open ()) na 10 milionach losowo umieszczonych plików wymaga 10 milionów wyszukiwań, około 100 000 sekund lub 30 godzin.

Musisz więc umieścić swoje pliki w większych pojemnikach, tak aby odpowiednią liczbą była przepustowość dysku (zwykle 50-100 MB / s dla pojedynczego dysku), a nie czas poszukiwania. Możesz także rzucić na nią RAID, co pozwala zwiększyć przepustowość (ale nie skraca czasu wyszukiwania).

Prawdopodobnie nie mówię ci niczego, czego jeszcze nie wiesz, ale mam na myśli to, że Twój pomysł „pojemnika” na pewno rozwiąże problem i zrobi to prawie każdy pojemnik. Mocowania Loopback prawdopodobnie będą działać tak dobrze, jak wszystko.

Istnieje kilka opcji. Najprostszym i powinno działać ze wszystkimi systemami plików Linux, jest ddskopiowanie całej partycji ( /dev/sdb3lub /dev/mapper/Data-ImageVol) do jednego obrazu i zarchiwizowanie tego obrazu. W przypadku przywracania pojedynczych plików, loopback zamontuj obraz ( mount -o loop /usr/path/to/file /mountpoint) i skopiuj potrzebne pliki. Aby przywrócić pełne partycje, możesz odwrócić kierunek początkowej ddkomendy, ale tak naprawdę potrzebujesz partycji o identycznym rozmiarze.

Sądząc z twojego przypadku użycia, domyślam się, że pojedyncze przywracanie plików jest bardzo rzadkim zdarzeniem, jeśli w ogóle nastąpi. Właśnie dlatego kopia zapasowa oparta na obrazach ma tutaj sens. Jeśli musisz częściej przeprowadzać indywidualne przywracanie, używanie etapowych migawek LVM będzie znacznie wygodniejsze; ale nadal musisz wykonać kopię zapasową opartą na obrazie w przypadku krytycznych katastrof „straciliśmy wszystko”. Przywracanie oparte na obrazie zwykle idzie o wiele szybciej niż przywracanie oparte na tar, ponieważ po prostu przywraca bloki, nie wymaga wielu operacji na metadanych przy każdym otwieraniu / zamykaniu, a także może być bardzo sekwencyjną operacją dysku dla dalszy wzrost prędkości.

Alternatywnie, jak wspomniał film Google @casey o połowie, XFS to świetny system plików (jeśli jest złożony). Jednym z ładniejszych narzędzi XFS jest xfsdumpnarzędzie, które zrzuci cały system plików do jednego pliku i generalnie zrobi to szybciej niż tarmoże. Jest to narzędzie specyficzne dla systemu plików, więc może korzystać z wewnętrznych elementów fs w sposób, którego nie potrafi tar.

Proponuję najpierw spróbować uaktualnić do EXT4, jeśli jeszcze go nie uruchomiłeś.

Google przeprowadziło wiele badań nad tym, dlaczego EXT4 jest dobrym pomysłem .

Następnie powinieneś rozważyć wdrożenie architektury rozproszonego systemu plików. Na przykład:

• http://www.xtreemfs.org/
• http://code.google.com/p/kosmosfs/
• http://hadoop.apache.org/hdfs/

Być może odpowiedź jest uproszczona, ale moją pierwszą myślą było użycie czegoś takiego jak GridFS, który jest oparty na MongoDB . Wiele sterowników podstawowego języka obsługuje go od razu po wyjęciu z pudełka, więc powinieneś być w stanie po prostu zamienić go z sekcjami odczytu pliku w kodzie. Możesz także po prostu ustawić ścieżki do istniejących plików jako klucze do tych plików.

Jednym z problemów, które możesz mieć, jest to, że Mongo ma tendencję do dość szybkiego zwalniania, jeśli cały czas szuka dysku. Z 10 milionami plików, spodziewam się, że większość twoich danych będzie na dysku. Fragmenty plików w GridFS mają, jak pamiętam, 4 MB, więc jeśli twoje pliki są większe, będziesz musiał wykonać kilka kosztownych operacji, aby uzyskać jeden plik. Wydaje mi się, że kluczem będzie fragmentowanie plików na podstawie już i tak uporządkowanej struktury katalogów, aby można było uruchomić kilka instancji Mongo na kilku polach w celu zmniejszenia obciążenia. Jednak nie wiem, jakie są twoje wymagania dotyczące wydajności, więc mogę to przesadzić.

Jaka jest z tego korzyść? Wydajność, która jest bardzo zbliżona do odczytu dysku, jeśli jest wykonana poprawnie Ponadto Mongo oferuje kilka świetnych wbudowanych sposobów szybkiego tworzenia kopii zapasowych całego pokosu danych w instancji DB, a nawet przy wciąż działającej bazie danych.

Jeśli byłbyś zadowolony z modelu urządzenia do przechowywania danych, może warto rozważyć NexentaStor . Działa ZFS na OpenSolaris pod maską, ale cała administracja odbywa się poprzez web GUI.

Istnieje kilka funkcji, które mogą pomóc w rozwiązaniu problemu.

• Wersja Enterprise obsługuje formę zdalnej replikacji opartej na migawkach, która nie wymaga skanowania przez cały system plików.

• Jeśli nie masz nic przeciwko brudzeniu rąk, ZFS ma bardzo przydatną komendę ZFS diff, która skutecznie informuje, które pliki zostały dodane, zmodyfikowane lub usunięte od ostatniej migawki, bez potrzeby skanowania całego systemu plików. Możesz włączyć to do systemu tworzenia kopii zapasowych, aby znacznie skrócić czas wymagany do wykonywania przyrostowych kopii zapasowych.

Możesz użyć standardowego dumpnarzędzia do tworzenia kopii zapasowych systemu plików EXT4 z dużą ilością plików. To narzędzie najpierw sprawdza, które bloki są używane w systemie plików, a następnie tworzy ich kopie zapasowe w kolejności dysków, eliminując większość wyszukiwań.

Istnieje odpowiednie restorenarzędzie do przywracania kopii zapasowych utworzone przez dump.

Obsługuje przyrostowe kopie zapasowe przy użyciu plików kopii zapasowych poziomu 1 zmodyfikowanych z ostatniej kopii zapasowej poziomu 0 (pełnej), poziomu 2 - zmodyfikowanych z kopii zapasowej poziomu 1 i tak dalej.

W przypadku przyrostowych kopii zapasowych jedną z opcji byłoby posiadanie drugiego drzewa cienia dla nowych okładek. Oznacza to, że masz główne drzewo, które jest używane do wszystkich operacji odczytu. Miałbyś także newfiles/012345.....jpgkatalog; nowo dodane okładki tworzą tutaj hardlink, a także w głównym drzewie. Podczas wykonywania kopii zapasowych można od czasu do czasu wykonać kopię zapasową głównego drzewa, ale newfilesznacznie częściej wykonywać kopię zapasową (znacznie mniejszego) drzewa.

Pamiętaj, że aby zachować newfilesmałe drzewo, przed utworzeniem nowej kopii zapasowej głównego drzewa możesz opróżnić drzewo nowych plików:

mv newfiles newfiles_
mkdir newfiles
rm -rf newfiles_

Gdy to zrobisz, oczywiście jesteś zobowiązany do utworzenia nowej kopii zapasowej głównego drzewa.

Dodanie odrobiny współbieżności zwykle pomaga.

Mam podobny problem jak ty; w moim przypadku muszę wykonać kopię zapasową około 30 milionów plików, w większości plików HTML, PHP lub JPEG. Dla mnie BackupPC + rsync przez ssh działa w porządku; pełna kopia zapasowa trwa około jednego dnia, ale przyrosty zwykle kończą się za kilka godzin.

Sztuczka polega na dodaniu każdego katalogu poziomu głównego (0, 1, 2 ... a, b, c ...) jako nowego celu do skopiowania w BackupPC i umożliwienia równoległego wykonywania kopii zapasowej, aby jednocześnie tworzyła kopie zapasowe katalogów a / , b / , c / * i tak dalej. W zależności od podsystemu dysku wszystko od kilku procesów do około 10 procesów jest prawdopodobnie najszybszym sposobem wykonania kopii zapasowej.

Migawki LVM i kopie zapasowe na poziomie bloków są również opcją, ale dzięki BackuPC i kopii zapasowej na poziomie plików możesz w razie potrzeby przywrócić pojedyncze pliki lub katalogi.

Benzoes,

Myślę, że twój problem można rozwiązać za pomocą liczby plików na poziomie katalogu!

Czy czas dostępu zmienia się w znaczący sposób, jeśli przechowujesz 20 000 plików w katalogu?

Czy zastanawiałeś się też nad przechowywaniem metadanych systemu plików na osobnym dysku o szybszym dostępie (np. Dysku SSD)?

Zamiast tego poleciłbym starą dobrą relacyjną bazę danych.

Użyłbym PostgreSQL z, powiedzmy, 256 tabelami partycjonowanymi (cover_00, cover_01, ..., cover_ff) z danymi obrazu jako byteakolumną (binarną) z pamięcią zewnętrzną, z identyfikatorem pliku jako kluczem podstawowym. Odzyskiwanie obrazu byłoby szybkie (dzięki indeksowi klucza podstawowego), gwarantowana byłaby integralność danych (baza danych zgodna z ACID), kopie zapasowe byłyby w kolejności dysków, więc nie trzeba zbyt wiele szukać.