Usuwanie milionów plików

Miałem katalog wypełniony milionami obrazów gif. Za dużo dla komendy rm.

Próbowałem polecenia find w następujący sposób:

find . -name "*.gif" -print0 | xargs -0 rm

Problem polega na tym, że bardzo źle psuje moją maszynę i powoduje przerwy dla klientów, ponieważ jest to serwer.

Czy jest jakiś sposób na szybsze usunięcie wszystkich tych plików ... bez blokowania urządzenia?

Szybsze niekoniecznie jest tym, czego chcesz. Możesz chcieć działać wolniej , więc usuwanie powoduje zubożenie mniejszej ilości zasobów podczas jego działania.

Użyj nice (1), aby obniżyć priorytet polecenia.

nice find . -name "*.gif" -delete

Dla procesów związanych z I / O nice (1) może nie być wystarczające. Harmonogram systemu Linux bierze pod uwagę operacje we / wy, a nie tylko procesor, ale możesz chcieć dokładniejszej kontroli nad priorytetem operacji we / wy.

ionice -c 2 -n 7 find . -name "*.gif" -delete

Jeśli to nie pomoże, możesz również spać, aby naprawdę spowolnić.

find . -name "*.gif" -exec sleep 0.01 \; -delete

Ponieważ używasz Linuksa, a to zadanie prawdopodobnie wiąże się z operacjami we / wy, radzę nadać priorytet poleceniu bezczynnego harmonogramu operacji we / wy za pomocą ionice(1):

ionice -c3 find . -name '*.gif' -delete

W porównaniu do twojego oryginalnego polecenia, może nawet zaoszczędzić trochę więcej cykli procesora, unikając potoku do xargs.

Nie.

Nie ma szybszego sposobu, odejdź od miękkiego formatu dysku. Pliki są przekazywane do rm jednocześnie (do limitu wiersza poleceń, może być również ustawiony na xargs), co jest znacznie lepsze niż wywoływanie rm na każdym pliku. Więc nie, zdecydowanie nie ma szybszego sposobu.

Używanie nice(lub reniceuruchomionego procesu) pomaga tylko częściowo, ponieważ służy to do planowania zasobów procesora , a nie dysku! A użycie procesora będzie bardzo niskie. Jest to słabość linuksa - jeśli jeden proces „zje” dysk (tj. Dużo z nim działa), cała maszyna utknie. Rozwiązaniem może być zmodyfikowane jądro do użytku w czasie rzeczywistym.

To, co zrobiłbym na serwerze, to ręczne zezwolenie innym procesom na wykonanie swojej pracy - w tym przerwy, aby serwer „oddychał”:

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

Będzie to czekać 5 sekund po każdych 100 plikach. Zajmie to znacznie dłużej, ale Twoi klienci nie powinni zauważać żadnych opóźnień.

Jeśli liczba plików, które mają zostać usunięte, znacznie przewyższa liczbę pozostawionych plików, przejście do drzewa plików do usunięcia i wykonanie wszystkich aktualizacji systemu plików może nie być najbardziej efektywnym podejściem. (Jest to analogiczne do robienia niezręcznego zarządzania pamięcią z liczeniem odniesień, odwiedzania każdego obiektu w dużym drzewie w celu usunięcia odniesienia, zamiast przekształcania wszystkiego w śmieci w jednym kroku, a następnie przeglądania tego, co jest możliwe do wyczyszczenia.)

Oznacza to, że sklonuj części drzewa, które mają być przechowywane w innym tomie. Ponownie utwórz świeży, pusty system plików na oryginalnym woluminie. Skopiuj zachowane pliki z powrotem do ich oryginalnych ścieżek. Jest to nieco podobne do kopiowania śmieci .

Nastąpi pewien czas przestoju, ale może być lepszy niż ciągła zła wydajność i przerwy w świadczeniu usług.

Może to być niepraktyczne w twoim systemie i sytuacji, ale łatwo wyobrazić sobie oczywiste przypadki, w których jest to właściwy sposób.

Załóżmy na przykład, że chcesz usunąć wszystkie pliki w systemie plików. Po co powtarzać i usuwać jeden po drugim? Po prostu odmontuj go i wykonaj „mkfs” nad partycją, aby utworzyć pusty system plików.

A może chcesz usunąć wszystkie pliki oprócz kilku ważnych? Wydobądź stąd pół tuzina i ... „mkfs” na górze.

W końcu jest pewien próg rentowności, gdy jest wystarczająca liczba plików, które muszą zostać, że tańsze jest usuwanie rekurencyjne, biorąc pod uwagę inne koszty, takie jak wszelkie przestoje.

Czy próbowałeś:

find . -name "*.gif" -exec rm {} +

Znak + na końcu spowoduje, że find będzie zawierać więcej plików do wykonania pojedynczej komendy rm. Sprawdź to pytanie, aby uzyskać więcej informacji.