Jakieś ograniczenia dotyczące posiadania wielu plików w katalogu w Mac OS X?

Mam ponad 100 000 plików w katalogu w moim MacOS X i wygląda na to, że mój skrypt odczytuje w nich plik.

Czy są jakieś ograniczenia lub zalecenia dotyczące posiadania tak wielu plików? Czy powinienem podzielić je na niektóre katalogi?

Ograniczeniem, które znalazłem, było to, że nie mogę mv * foodla wszystkich 100 000 plików. Pokazuje błąd, mówiąc „zbyt długi argument”. Działa z około mniej niż 20 000 plików.

Zgodnie z odpowiedzią dotyczącą przepełnienia stosu i szczegółowymi szczegółami na stronie Apple , pojedynczy folder może zawierać do 2,1 miliarda elementów.

To powiedziawszy, tylko dlatego, że może pomieścić do 2,1 miliarda przedmiotów, nie oznacza, że ​​może utrzymać wydajność na tym poziomie. Według Wikipedii ; nacisk jest mój:

Plik katalogu, który przechowuje wszystkie rekordy plików i katalogów w jednej strukturze danych, powoduje problemy z wydajnością, gdy system umożliwia wielozadaniowość, ponieważ tylko jeden program może zapisywać do tej struktury jednocześnie, co oznacza, że ​​wiele programów może czekać w kolejce z powodu jednego programu „zawieszającego” system. Jest to również poważny problem z niezawodnością, ponieważ uszkodzenie tego pliku może zniszczyć cały system plików.

Tak więc wydajność jest naturalnie obniżona, ponieważ plik katalogu może być używany tylko przez jeden program na raz. A jeśli katalog powiększy się, ryzyko / pogorszenie spowodowane tym problemem będzie tylko rosło; więcej plików oznacza większą szansę dla programów na dostęp do plików w tym jednym katalogu. Dalsze potwierdzenie tego pomysłu tutaj ; znowu nacisk jest mój:

Plik katalogu jest skomplikowaną strukturą. Ponieważ przechowuje wszystkie informacje o plikach i katalogach, wymusza serializację systemu plików - nie jest to idealna sytuacja, gdy istnieje duża liczba wątków chcących wykonać operacje wejścia / wyjścia pliku. W systemie HFS każda operacja tworzenia pliku lub modyfikacji pliku w jakikolwiek sposób musi zablokować plik katalogu, co uniemożliwia innym wątkom dostęp do pliku katalogu tylko do odczytu. Dostęp do pliku katalogu musi mieć jeden pisarz / wielu liderów.

Krótka odpowiedź: Cóż, jeśli czytasz 100 000 plików, mogę oczekiwać, że skrypt będzie działał wolno.

Długa odpowiedź: Aby dokładniej odpowiedzieć na to pytanie, musisz spojrzeć na system plików na komputerze Mac. Komputery Mac używają HFS + ( Hierarchical File System Plus ), który jest nowoczesnym systemem plików, który ma ograniczenia, ale tylko w ekstremalnych sytuacjach.

Z mojego doświadczenia wynika, że ​​przypomina system plików z księgowaniem Linux EXT. Obsługuje katalogi instalacyjne, uprawnienia typu UNIX itp. Adresował pliki w formacie 32-bitowym, dzięki czemu maksymalna liczba plików, które mogą być przechowywane w woluminie 4 294 967 295, zgodnie z tym źródłem.

System plików zaczyna pękać z plikami większymi niż 8 EB w nowoczesnych systemach oraz do 2,1 miliarda plików i folderów w jednym miejscu, jak opisano tutaj .

Biorąc pod uwagę sposób, w jaki HFS + - lub tak naprawdę dowolny system plików jest skonfigurowany pod tym względem - posiadanie dużej liczby plików w folderze nie powinno robić niczego „dziwnego”.

Szczerze mówiąc, nie sądzę, aby poprawiła się wydajność dystrybucji plików w bardziej złożonej hierarchii folderów. W rzeczywistości ta technika może być mniej wydajna, ponieważ skrypt musiałby wywoływać zmiany katalogów w trakcie procesu.