Jak sprawdzić postęp uruchamiania cp?

Czy można sprawdzić postęp uruchamiania procesu CP? Niektóre procesy reagują na różne sygnały KILL, abyś mógł sprawdzić, jaki jest ich status. Wiem, że mogę uruchomić cp z parametrem -v, ale co jeśli zapomnę to zrobić, cp działa bardzo długo i chcę wiedzieć, który plik jest kopiowany lub ile już zostało skopiowanych.

Tak, uruchamiając stat na pliku docelowym i pliku lokalnym i uzyskując rozmiar pliku,

to znaczy stat -c "%s" /bin/ls

I dostajesz procent danych skopiowanych przez porównanie dwóch wartości, to wszystko

W bardzo podstawowej implementacji, która będzie wyglądać następująco:

function cpstat()
{
  local pid="${1:-$(pgrep -xn cp)}" src dst
  [[ "$pid" ]] || return
  while [[ -f "/proc/$pid/fd/3" ]]; do
    read src dst < <(stat -L --printf '%s ' "/proc/$pid/fd/"{3,4})
    (( src )) || break
    printf 'cp %d%%\r' $((dst*100/src))
    sleep 1
  done
  echo
}

W najnowszych wersjach Mac OS X możesz po prostu nacisnąć CTRL+, Taby zobaczyć postęp. Ze strony podręcznika OSX 10.6 dla cp (1) :

 "If cp receives a SIGINFO (see the status argument for stty(1)) signal,
 the current input and output file and the percentage complete will be
 written to the standard output."

Trafienie CTRL+ Tjest równoznaczne z sygnalizacją bieżącego procesu za pomocą SIGINFO na maszynach BSD, w tym OSX.

Działa to również dla dd (1) .

Nie sądzę, że Linux ma ten mechanizm SIGINFO i nie widzę niczego na stronie podręcznika GNU dla cp (1) na temat sygnałów, które można wykorzystać do zgłaszania postępów.

Gdy kopiujesz wiele plików du -s /path/to/destinationlub find /path/to/destination | wc -ldajesz wyobrażenie o tym, ile już zostało zrobione.

Możesz dowiedzieć się, który plik jest kopiowany, lsof -p1234gdzie 1234 jest identyfikatorem procesu cp. W wielu systemach pgrep -x cpraportuje identyfikatory wszystkich nazwanych uruchomionych procesów cp. Może to nie być bardzo przydatne, ponieważ kolejność kopiowania plików w danym katalogu jest w zasadzie nieprzewidywalna ( ls --sort=nonepowiedzą ci to w dużym katalogu pod Linuksem ; w drzewie katalogów spróbuj find).

lsof -p1234informuje również, ile bajtów cpjuż przeczytało i zapisało dla bieżącego pliku, w OFFSETkolumnie.

Pod Linuksem są statystyki użytkowania IO w /proc/$pid/io(ponownie, użyj PID cpprocesu dla $pidf). rcharWartość jest całkowita liczba bajtów, że proces ma odczytać, a wcharjest to liczba bajtów, że proces jest napisane. Obejmuje to nie tylko dane w plikach, ale także metadane w katalogach. Możesz porównać tę liczbę z przybliżoną liczbą uzyskaną za pomocą du /path/to/source(która zlicza tylko dane pliku). read_bytesi write_bytesobejmuje tylko to, co zostało odczytane lub zapisane z pamięci, tzn. wyklucza diagnostykę terminali i dane znajdujące się już w pamięci podręcznej lub nadal w buforach.

Względnie nowe narzędzie, które robi dokładnie to, jest postępem (dawniej cv [coreutils viewer]).

Co to jest?

To narzędzie można opisać jako komendę C Tiny, Dirty, Linux-and-OSX-only, która wyszukuje podstawowe komendy coreutils (cp, mv, dd, tar, gzip / gunzip, cat itp.) Aktualnie uruchomione w systemie i wyświetla procent skopiowanych danych.

Jak to działa?

Po prostu skanuje w /procposzukiwaniu interesujących poleceń, a następnie przegląda katalogi fdi fdinfoznajduje otwarte pliki oraz szuka pozycji i raportuje stan największego pliku.

Jedną z moich ulubionych sztuczek (pod Linuksem) jest ustalenie PID cpprocesu (za pomocą ps | grep cplub podobnego), a następnie sprawdzenie /proc/$PID/fd/i /proc/$PID/fdinfo/.

$ cp -r y z
^Z
$ ls -l /proc/8614/fd
lrwx------ 1 jander jander 64 Aug  2 15:21 0 -> /dev/pts/4
lrwx------ 1 jander jander 64 Aug  2 15:21 1 -> /dev/pts/4
lrwx------ 1 jander jander 64 Aug  2 15:20 2 -> /dev/pts/4
lr-x------ 1 jander jander 64 Aug  2 15:21 3 -> /home/jander/y/foo.tgz
l-wx------ 1 jander jander 64 Aug  2 15:21 4 -> /home/jander/z/foo.tgz

To pokaże, jakie pliki otworzył proces. Jeśli chcesz zobaczyć, jak daleko w pliku jest proces ...

$ cat /proc/8614/fdinfo/3
pos:    105381888
flags:  0500000

posparametrem jest pozycja odczytu (zapisu) lub wskaźnika w bajtach.

Jest kilka rzeczy, które możesz zrobić. Możesz dołączyć stracedo niego, aby zobaczyć, co robi (dane wyjściowe mogą być obfite!):

strace -p [pid of cp]

lub możesz lsofpowiedzieć, które pliki są obecnie otwarte:

lsof -p [pid of cp]

Jeśli używasz dużej rekurencyjnej cp, możesz użyć pwdxbieżącego katalogu roboczego, co może dać ci pojęcie o tym, jak to działa:

pwdx [pid z cp]

Chociaż OP wyraźnie wspomniał o możliwości zobaczenia, jak postępuje polecenie „cp”, należy powiedzieć, że inne narzędzia są lepsze w tym konkretnym przypadku.

Na przykład:

rsync -avP FROM TO

pokaże postęp kopiowania pliku FROM / do pliku TO / FOLDER.

# rsync -avP Video.mp4  /run/media/user1/3.8G/

sending incremental file list
Video.mp4
    565,170,046 100%   51.23MB/s    0:00:10 (xfr#1, to-chk=0/1)

sent 565,308,115 bytes  received 134 bytes  5,210,214.28 bytes/sec
total size is 565,170,046  speedup is 1.00

A rsync powie ci, ile to zostało skopiowane (i szybkość transferu) po drodze. Działa z pojedynczymi plikami lub folderami na tym samym komputerze lub w sieci.

Co możesz zrobić, to sprawdzić pliki w miejscu docelowym.

Jeśli twoje polecenia CP są podobne cp -a <my_source> <my_dest_folder>, sprawdziłbym, które pliki są już skopiowane <my_dest_folder>i każdy rozmiar pliku, dzięki czemu mogę zobaczyć postęp. Jeśli <my_source>jest to trochę skomplikowane (kilka warstw katalogów), to mały skrypt mógłby sprawdzić status. Chociaż taki skrypt może zużywać trochę I / O, które nie byłyby wtedy używane przez cpproces.

To narzędzie jest poleceniem narzędzia Linux, które wyszukuje podstawowe polecenia coreutils (cp, mv, dd, tar, gzip / gunzip, cat itp.) Aktualnie uruchomione w systemie i wyświetla procent skopiowanych danych:

https://github.com/Xfennec/cv

Chciałbym dodać cpv, małe opakowanie do pvtego, co napisałem, które imituje użycie cp.

Prosty i użyteczny

Możesz go zdobyć tutaj

Możesz także użyć pipeviewer .

for f in *; do
  pv $f > destination/$f
done

Użyj pv -d:

-d PID[:FD], --watchfd PID[:FD]
Zamiast przesyłać dane, obejrzyj deskryptor pliku FDprocesu PIDi pokaż jego postęp. […] Jeśli PIDokreślono tylko a , proces ten będzie obserwowany, a wszystkie zwykłe pliki i urządzenia blokowe, które otworzy, zostaną wyświetlone z paskiem postępu. pvProces wyjdzie gdy proces PIDkończy działanie.

^{( źródło )}

Znajdź PID swojego running cp( pidof cp), powiedzmy, że to 12345; to po prostu

pv -d 12345

Uwagi:

• Uruchom pvjako ten sam użytkownik, który działa cp(lub jako root).
• Ponieważ kopiowanie oznacza odczyt jednego pliku i zapis do drugiego, należy spodziewać się monitorowania dwóch plików jednocześnie.
• Jeśli cpobecnie przetwarzane są małe pliki, prawdopodobnie nie zobaczysz ich wszystkich na wyjściu (mały plik może zostać zbyt szybko zamknięty, pvaby go odebrać). Jednak niektóre się pojawią, więc nawet wtedy będziesz w stanie powiedzieć, co cprobi.
• pv -d "$(pidof cp)"może działać; ale jeśli działa więcej niż jeden cp, to nie zadziała. Jest taki, pidof -sktóry zwraca co najwyżej jeden PID, ale nie możesz być pewien, że będzie należał do właściwego cpprocesu, jeśli jest ich wiele.

Możesz wysłać sygnał do procesu:

kill -SIGUSR1 pid

Jeszcze bardziej przydatne jest utworzenie skryptu, który będzie sondować, dopóki nie naciśniesz Ctrl-C lub proces się zakończy:

while [ : ] ; do kill -SIGUSR1 $1 && sleep 1m || exit ; done

Działa dla dd. Nie działa dla CP . Może musisz użyć innego sygnału. Kiedyś próbowałem SIGINFO, ale wydaje się, że już nie istnieje na platformie Intel.