Śledzenie, gdzie jest miejsce na dysku w systemie Linux?

Podczas administrowania systemami Linux często mam problemy ze znalezieniem winowajcy po zapełnieniu partycji. Zwykle używam, du / | sort -nrale na dużym systemie plików zajmuje to dużo czasu, zanim jakiekolwiek wyniki zostaną zwrócone.

Ponadto zwykle udaje się to w uwypukleniu najgorszego przestępcy, ale często zdarzało mi się uciekać dubez sort bardziej subtelnych przypadków, a następnie musiałem przeszukiwać dane wyjściowe.

Wolałbym rozwiązanie wiersza poleceń, które opiera się na standardowych poleceniach Linuksa, ponieważ muszę administrować kilkoma systemami, a instalowanie nowego oprogramowania jest kłopotliwe (szczególnie gdy brakuje miejsca na dysku!)

Wypróbuj ncdudoskonały analizator użycia dysku z wiersza poleceń:

Nie idź prosto do du /. Użyj, dfaby znaleźć partycję, która cię rani, a następnie wypróbuj dupolecenia.

Chciałbym spróbować

# U.S.
du -h <dir> | grep '[0-9\.]\+G'
# Others
du -h <dir> | grep '[0-9\,]\+G'

ponieważ drukuje rozmiary w „czytelnej dla człowieka formie”. Jeśli nie masz naprawdę małych partycji, wyszukiwanie katalogów w gigabajtach jest całkiem dobrym filtrem dla tego, czego chcesz. To zajmie ci trochę czasu, ale chyba, że ​​masz ustawione limity, myślę, że tak właśnie będzie.

Jak @jchavannes wskazuje w komentarzach, wyrażenie może być bardziej precyzyjne, jeśli znajdziesz zbyt wiele fałszywych trafień. Włączyłem sugestię, która sprawia, że ​​jest lepsza, ale wciąż istnieją fałszywie pozytywne wyniki, więc są tylko kompromisy (prostszy wyraŜenie, gorsze wyniki; bardziej skomplikowane i dłuŜsze wyraŜenie, lepsze wyniki). Jeśli masz zbyt wiele małych katalogów wyświetlanych w danych wyjściowych, odpowiednio dostosuj wyrażenie regularne. Na przykład,

grep '^\s*[0-9\.]\+G'

jest jeszcze bardziej dokładny (nie zostaną wyświetlone żadne katalogi <1 GB).

Jeśli zrobić mieć kwot, można użyć

quota -v

aby znaleźć użytkowników blokujących dysk.

Aby uzyskać pierwsze spojrzenie, skorzystaj z widoku „podsumowanie” du:

du -s /*

Efektem jest wydrukowanie wielkości każdego z argumentów, tj. Każdego folderu głównego w powyższej sprawie.

Co więcej, zarówno GNUdu , jak i BSDdu mogą być ograniczone głębokością ( ale POSIX dunie może! ):

• GNU (Linux,…):

  du --max-depth 3

• BSD (macOS,…):

  du -d 3
  

Spowoduje to ograniczenie wyświetlania danych wyjściowych do głębokości 3. Obliczony i wyświetlany rozmiar jest oczywiście sumą pełnej głębokości. Mimo to ograniczenie głębokości wyświetlania drastycznie przyspiesza obliczenia.

Inną przydatną opcją jest -h(słowa na GNU i BSD, ale znów nie tylko na POSIX du) dla wyjścia „czytelnego dla człowieka” (tj. Przy użyciu KiB, MiB itp .).

Możesz także uruchomić następującą komendę, używając du:

~# du -Pshx /* 2>/dev/null

• -sOpcja podsumowuje i Wyświetla całkowity dla każdego argumentu.
• h drukuje Mio, Gio itp.
• x = pozostań w jednym systemie plików (bardzo przydatne).
• P = nie podążaj za dowiązaniami symbolicznymi (które mogą na przykład powodować dwukrotne liczenie plików).

Uważaj, /rootkatalog nie zostanie wyświetlony, musisz go uruchomić ~# du -Pshx /root 2>/dev/null(kiedyś bardzo się zmagałem, nie wskazując, że mój /rootkatalog się zapełnił).

Edycja: poprawiona opcja -P

Znalezienie największych plików w systemie plików zawsze zajmuje dużo czasu. Z definicji musisz przemierzać cały system plików w poszukiwaniu dużych plików. Jedynym rozwiązaniem jest prawdopodobnie uruchomienie zadania cron na wszystkich systemach w celu przygotowania pliku z wyprzedzeniem.

Po drugie, opcja x du jest przydatna, aby powstrzymać du przed podążaniem za punktami montowania w innych systemach plików. To znaczy:

du -x [path]

Pełne polecenie, które zwykle uruchamiam, to:

sudo du -xm / | sort -rn > usage.txt

Te -mśrodki zwracają wyniki w megabajtach, a sort -rnbędzie sortować wyniki największą liczbę pierwszą. Następnie możesz otworzyć plik use.txt w edytorze, a największe foldery (zaczynające się od /) będą na górze.

Zawsze używam du -sm * | sort -n, co daje posortowaną listę, ile zużywają podkatalogi bieżącego katalogu roboczego, w mebibajtach.

Możesz także wypróbować Konquerora, który ma tryb „widoku rozmiaru”, który jest podobny do tego, co robi WinDirStat w systemie Windows: daje ci pełną reprezentację tego, które pliki / katalogi zajmują większość twojego miejsca.

Aktualizacja: w nowszych wersjach możesz także użyć opcji, du -sh * | sort -hktóre pokażą czytelne dla ludzi rozmiary plików i posortuj według tych. (liczby będą oznaczone literami K, M, G, ...)

Dla osób szukających alternatywy dla rozmiaru pliku Konqueror w KDE3 może przyjrzeć się filelight, choć nie jest to tak przyjemne.

Używam tego dla 25 najgorszych przestępców poniżej bieżącego katalogu

# -S to not include subdir size, sorted and limited to top 25
du -S . | sort -nr | head -25

W poprzedniej firmie mieliśmy zadanie cron, które było uruchamiane przez noc i identyfikowaliśmy pliki o określonym rozmiarze, np

znajdź / rozmiar + 10000k

Możesz być bardziej wybiórczy w odniesieniu do przeszukiwanych katalogów i uważać na wszelkie zdalnie montowane dyski, które mogą przejść w tryb offline.

Jedną z opcji byłoby uruchomienie polecenia du / sort jako zadania cron i przesłanie go do pliku, więc jest już dostępny, gdy jest potrzebny.

W wierszu poleceń myślę, że metoda du / sort jest najlepsza. Jeśli nie jesteś na serwerze, powinieneś spojrzeć na Baobab - Analizator użycia dysku . Uruchomienie tego programu również zajmuje trochę czasu, ale możesz łatwo znaleźć podkatalog głęboko, głęboko tam, gdzie są wszystkie stare ISO systemu Linux.

używam

du -ch --max-depth=2 .

i zmieniam maksymalną głębokość zgodnie z moimi potrzebami. Opcja „c” drukuje sumy dla folderów, a opcja „h” odpowiednio drukuje rozmiary w K, M lub G. Jak powiedzieli inni, nadal skanuje wszystkie katalogi, ale ogranicza dane wyjściowe w sposób, który łatwiej znaleźć duże katalogi.

Idę na sekundę xdiskusage. Ale dodam w notatce, że w rzeczywistości jest to du frontend i mogę odczytać wynik du z pliku. Możesz więc uruchomić du -ax /home > ~/home-duna swoim serwerze scpplik z powrotem, a następnie przeanalizować go graficznie. Lub przeprowadź go przez ssh.

Spróbuj wprowadzić wynik du do prostego skryptu awk, który sprawdza, czy rozmiar katalogu jest większy niż jakiś próg, jeśli tak, to go drukuje. Nie musisz czekać na przejście całego drzewa, zanim zaczniesz uzyskiwać informacje (w porównaniu z wieloma innymi odpowiedziami).

Na przykład poniżej przedstawiono katalogi, które zużywają więcej niż około 500 MB.

du -kx / | awk '{ if ($1 > 500000) { print $0} }'

Aby uczynić powyższe nieco bardziej wielokrotnego użytku, możesz zdefiniować funkcję w swoim .bashrc (lub możesz zrobić z niego samodzielny skrypt).

dubig() {
    [ -z "$1" ] && echo "usage: dubig sizethreshMB [dir]" && return
    du -kx $2 | awk '{ if ($1 > '$1'*1024) { print $0} }'
}

Więc dubig 200 ~/szuka w katalogu domowym (bez podążania za symbolami poza urządzeniem) katalogów, które używają więcej niż 200 MB.

Podoba mi się stary dobry xdiskusage jako graficzna alternatywa dla du (1).

Wolę skorzystać z poniższych, aby uzyskać przegląd i przejść od tego ...

cd /folder_to_check
du -shx */

Spowoduje to wyświetlenie wyników z danymi wyjściowymi czytelnymi dla człowieka, takimi jak GB, MB. Zapobiegnie również przechodzeniu przez zdalne systemy plików. Ta -sopcja wyświetla tylko podsumowanie każdego znalezionego folderu, dzięki czemu możesz przejść do dalszych szczegółów, jeśli chcesz uzyskać więcej informacji o folderze. Należy pamiętać, że to rozwiązanie będzie wyświetlać tylko foldery, więc jeśli chcesz również pominąć gwiazdkę / po gwiazdce.

Nie wspomniano tutaj, ale powinieneś również sprawdzić lsof w przypadku usuniętych / zawieszonych plików. Miałem usunięty plik tmp o pojemności 5,9 GB z wybieranej aplikacji do współpracy.

https://serverfault.com/questions/207100/how-can-i-find-phantom-storage-usage Pomógł mi znaleźć właściciela procesu wspomnianego pliku (cron), a następnie udało mi się /proc/{cron id}/fd/{file handle #}zmniejszyć plik zadaj pytanie, aby uzyskać początek ucieczki, rozwiąż ten problem, a następnie powtórz plik „”>, aby zwolnić miejsce i pozwolić cronowi z wdziękiem się zamknąć.

Z terminala możesz uzyskać wizualną reprezentację użycia dysku za pomocą dutree

Jest bardzo szybki i lekki, ponieważ jest implementowany w Rust

$ dutree -h
Usage: dutree [options] <path> [<path>..]

Options:
    -d, --depth [DEPTH] show directories up to depth N (def 1)
    -a, --aggr [N[KMG]] aggregate smaller than N B/KiB/MiB/GiB (def 1M)
    -s, --summary       equivalent to -da, or -d1 -a1M
    -u, --usage         report real disk usage instead of file size
    -b, --bytes         print sizes in bytes
    -f, --files-only    skip directories for a fast local overview
    -x, --exclude NAME  exclude matching files or directories
    -H, --no-hidden     exclude hidden files
    -A, --ascii         ASCII characters only, no colors
    -h, --help          show help
    -v, --version       print version number

Zobacz wszystkie szczegóły użytkowania na stronie internetowej

Dla wiersza poleceń du (i jego opcje) wydaje się najlepszym sposobem. DiskHog wygląda tak, jakby używa również informacji du / df z zadania cron, więc sugestia Petera jest prawdopodobnie najlepszą kombinacją prostoty i skuteczności.

( FileLight i KDirStat są idealne do GUI.)

Możesz użyć standardowych narzędzi, takich jak findi sortdo analizy wykorzystania miejsca na dysku.

Lista katalogów posortowana według ich wielkości:

find / -mount -type d -exec du -s "{}" \; | sort -n

Lista plików posortowana według ich wielkości:

find / -mount -printf "%k\t%p\n" | sort -n

Być może warto zauważyć, że mc(Midnight Commander, klasyczny menedżer plików w trybie tekstowym) domyślnie pokazuje tylko rozmiar i-węzłów katalogu (zwykle 4096), ale za pomocą CtrlSpacelub z menu Narzędzia możesz zobaczyć przestrzeń zajmowaną przez wybrany katalog w czytelnym dla człowieka format (np. niektóre podobne 103151M).

Na przykład poniższe zdjęcie pokazuje pełny rozmiar waniliowych dystrybucji TeX Live z lat 2018 i 2017, podczas gdy wersje 2015 i 2016 pokazują tylko rozmiar i-węzła (ale mają naprawdę prawie 5 Gb każdy).

Oznacza to, że CtrlSpacenależy to zrobić jeden za drugim, tylko dla rzeczywistego poziomu katalogu, ale jest tak szybki i przydatny, gdy nawigujesz z mctym, że być może nie będziesz potrzebować ncdu(że w rzeczywistości tylko w tym celu jest lepszy). W przeciwnym razie, można również uruchomić ncduz mc. bez wyjścia mclub uruchomienia innego terminalu.

Najpierw sprawdzam rozmiar katalogów, tak jak poniżej:

du -sh /var/cache/*/

Jeśli wiesz, że duże pliki zostały dodane w ciągu ostatnich kilku dni (powiedzmy 3), możesz użyć polecenia find w połączeniu z „ ls -ltra”, aby odkryć te ostatnio dodane pliki:

find /some/dir -type f -mtime -3 -exec ls -lart {} \;

To da ci tylko pliki („ -type f”), a nie katalogi; tylko pliki z czasem modyfikacji w ciągu ostatnich 3 dni („ -mtime -3”) i wykonaj „ ls -lart” dla każdego znalezionego pliku („ -exec” część).

Aby zrozumieć nieproporcjonalne wykorzystanie miejsca na dysku, często warto zacząć od katalogu głównego i przejrzeć niektóre z jego największych elementów podrzędnych.

Możemy to zrobić przez

• zapisywanie danych wyjściowych du do pliku
• przeglądanie wyniku iteracyjnie

To jest:

# sum up the size of all files and directories under the root filesystem
du -a -h -x / > disk_usage.txt
# display the size of root items
grep $'\t/[^/]*$' disk_usage.txt

powiedzmy teraz, że / usr wydaje się zbyt duży

# display the size of /usr items
grep $'\t/usr/[^/]*$' disk_usage.txt

teraz, jeśli / usr / local jest podejrzanie duży

# display the size /usr/local items
grep $'\t/usr/local/[^/]*$' disk_usage.txt

i tak dalej...

Użyłem tego polecenia, aby znaleźć pliki większe niż 100 Mb:

find / -size +100M -exec ls -l {} \;

Miałem sukces w wyszukiwaniu najgorszych przestępców, którzy duprzesyłali wyniki w postaci czytelnej dla człowieka egrepi dopasowując je do wyrażenia regularnego.

Na przykład:

du -h | egrep "[0-9]+G.*|[5-9][0-9][0-9]M.*"

co powinno dać ci wszystko 500 megabajtów lub więcej.

Jeśli chcesz prędkości, możesz włączyć przydziały w systemach plików, które chcesz monitorować (nie musisz ustawiać przydziałów dla żadnego użytkownika), i użyj skryptu, który używa polecenia quota, aby wyświetlić listę miejsca na dysku używanego przez każdego użytkownika. Na przykład:

quota -v $user | grep $filesystem | awk '{ print $2 }'

dałoby ci użycie dysku w blokach dla konkretnego użytkownika w danym systemie plików. W ten sposób powinieneś być w stanie sprawdzić użycie w ciągu kilku sekund.

Aby włączyć przydziały, musisz dodać usrquota do opcji systemu plików w pliku / etc / fstab, a następnie prawdopodobnie zrestartować komputer, aby można było uruchomić quotacheck na bezczynnym systemie plików przed wywołaniem quotaon.

Oto niewielka aplikacja, która używa głębokiego próbkowania do znajdowania guzów w dowolnym dysku lub katalogu. Przechodzi dwa razy po drzewie katalogów, raz, aby je zmierzyć, a drugi raz wypisuje ścieżki do 20 „losowych” bajtów w katalogu.

void walk(string sDir, int iPass, int64& n, int64& n1, int64 step){
    foreach(string sSubDir in sDir){
        walk(sDir + "/" + sSubDir, iPass, n, n1, step);
    }
    foreach(string sFile in sDir){
        string sPath = sDir + "/" + sFile;
        int64 len = File.Size(sPath);
        if (iPass == 2){
            while(n1 <= n+len){
               print sPath;
               n1 += step;
            }
        }
        n += len;
    }
}

void dscan(){
    int64 n = 0, n1 = 0, step = 0;
    // pass 1, measure
    walk(".", 1, n, n1);
    print n;
    // pass 2, print
    step = n/20; n1 = step/2; n = 0;
    walk(".", 2, n, n1);
    print n;
}

Dane wyjściowe wyglądają następująco dla mojego katalogu Program Files:

 7,908,634,694
.\ArcSoft\PhotoStudio 2000\Samples\3.jpg
.\Common Files\Java\Update\Base Images\j2re1.4.2-b28\core1.zip
.\Common Files\Wise Installation Wizard\WISDED53B0BB67C4244AE6AD6FD3C28D1EF_7_0_2_7.MSI
.\Insightful\splus62\java\jre\lib\jaws.jar
.\Intel\Compiler\Fortran\9.1\em64t\bin\tselect.exe
.\Intel\Download\IntelFortranProCompiler91\Compiler\Itanium\Data1.cab
.\Intel\MKL\8.0.1\em64t\bin\mkl_lapack32.dll
.\Java\jre1.6.0\bin\client\classes.jsa
.\Microsoft SQL Server\90\Setup Bootstrap\sqlsval.dll
.\Microsoft Visual Studio\DF98\DOC\TAPI.CHM
.\Microsoft Visual Studio .NET 2003\CompactFrameworkSDK\v1.0.5000\Windows CE\sqlce20sql2ksp1.exe
.\Microsoft Visual Studio .NET 2003\SDK\v1.1\Tool Developers Guide\docs\Partition II Metadata.doc
.\Microsoft Visual Studio .NET 2003\Visual Studio .NET Enterprise Architect 2003 - English\Logs\VSMsiLog0A34.txt
.\Microsoft Visual Studio 8\Microsoft Visual Studio 2005 Professional Edition - ENU\Logs\VSMsiLog1A9E.txt
.\Microsoft Visual Studio 8\SmartDevices\SDK\CompactFramework\2.0\v2.0\WindowsCE\wce500\mipsiv\NETCFv2.wce5.mipsiv.cab
.\Microsoft Visual Studio 8\VC\ce\atlmfc\lib\armv4i\UafxcW.lib
.\Microsoft Visual Studio 8\VC\ce\Dll\mipsii\mfc80ud.pdb
.\Movie Maker\MUI\0409\moviemk.chm
.\TheCompany\TheProduct\docs\TheProduct User's Guide.pdf
.\VNI\CTT6.0\help\StatV1.pdf
7,908,634,694

Mówi mi, że katalog ma 7,9 GB, z czego

• ~ 15% idzie na kompilator Intel Fortran
• ~ 15% idzie na VS .NET 2003
• ~ 20% idzie na VS 8

Wystarczy zapytać, czy któreś z nich można rozładować.

Mówi także o typach plików, które są rozproszone w systemie plików, ale razem stanowią okazję do zaoszczędzenia miejsca:

• ~ 15% z grubsza idzie na pliki .cab i .MSI
• ~ 10% z grubsza idzie na rejestrowanie plików tekstowych

Pokazuje też wiele innych rzeczy, z którymi prawdopodobnie nie mogłem się obejść, takich jak obsługa „SmartDevices” i „ce” (~ 15%).

Zajmuje to czas liniowy, ale nie trzeba go często robić.

Przykłady rzeczy, które znalazł:

• kopie zapasowe bibliotek DLL w wielu zapisanych repozytoriach kodów, które tak naprawdę nie muszą być zapisywane
• kopia zapasowa czyjegoś dysku twardego na serwerze, w niejasnym katalogu
• obszerne tymczasowe pliki internetowe
• potrzebna jest starożytna dokumentacja i pliki pomocy

Miałem podobny problem, ale odpowiedzi na tej stronie nie były wystarczające. Znalazłem następującą komendę, która jest najbardziej użyteczna dla listy:

du -a / | sort -n -r | head -n 20

Który pokazałby mi 20 największych przestępców. Jednak pomimo tego, że to uruchomiłem, nie pokazało mi to prawdziwego problemu, ponieważ już usunąłem plik. Problem polegał na tym, że nadal działał proces odwołujący się do usuniętego pliku dziennika ... więc najpierw musiałem go zabić, a następnie miejsce na dysku pojawiło się jako wolne.

Możesz użyć DiskReport.net, aby wygenerować raport online o wszystkich dyskach.

Przy wielu uruchomieniach pokaże Ci wykres historii dla wszystkich twoich folderów, łatwy do znalezienia, co się powiększyło

Jest ładny darmowy wieloplatformowy darmowy program o nazwie JDiskReport, który zawiera GUI do zbadania, co zajmuje całą tę przestrzeń.

Przykładowy zrzut ekranu:

Oczywiście musisz ręcznie wyczyścić trochę miejsca, zanim będziesz mógł je pobrać i zainstalować lub pobrać na inny dysk (np. Pendrive USB).

(Skopiowane tutaj z tego samego autora odpowiedzi na pytanie duplikatu)