Skopiuj wiele źródeł do wielu miejsc docelowych jednocześnie

Załóżmy, że muszę skopiować pliki

~/path/to/file do user@remote:/path/to/file

~/path/to/another/file do user@remote:/path/to/another/file

~/path/alternative do user@remote:/path/alternative

Czy istnieje sposób, aby to zrobić za pomocą rsync lub scp?

próbowałem rsync ~/path/{to/file,to/another/file,alternative} user@remote:/path

Ale to nie jest opcja, jeśli muszę skopiować do innego dest another_path.

Kopiowanie pliku po pliku jest zbyt długie, jeśli muszę skopiować co najmniej 20 plików.

Jeśli chcesz przesłać wybrane pliki za pomocą rsync, tj. Nie całego katalogu zawierającego zawartość, najlepszym sposobem jest użycie rsync --files-from opcja. Umieść nazwy ścieżek plików, które chcesz przesłać, względem określonego katalogu źródłowego. Zobacz stronę podręcznika rsync, aby uzyskać bardziej szczegółowe informacje.

Ten skrypt skopiuje dowolną liczbę katalogów wejściowych do dowolnej liczby hostów, równolegle dzięki wykorzystaniu zadań w tle powłoki. Tutaj użyłem cpio ponieważ łatwo jest podzielić i potokować pliki wejściowe, ale można to zmienić rsync --files-from również.

Stosowanie: multi-cpio.sh <srcfile> <dstfile> (wymaga kluczy ssh na potrzeby nieinteraktywnego logowania)

srcfile zawiera jeden katalog na linię, taki jak:

/usr/share/man/man1
/usr/share/man/man3
/usr/share/man/man5

dstfile zawiera jeden zdalny cel na linię, taki jak:

user@host:/tmp/a
user@host:/tmp/b
user@host:/tmp/c

... i źródło multi-cpio.sh:

#!/bin/bash 

SRCLIST=$1
DSTLIST=$2

# create temporary files, safely, in /tmp with mcpio prefix
TEMP=`tempfile -p mcpio`

# loop over input file and create a list of all files to be copied
for I in `cat $SRCLIST` ; do
  find $I -depth -print >>$TEMP
done

# split the file into CPU count + factor
# set to '4' here, seems like ~6x CPIO will max my 1Gb Ethernet link to ~800Mbps in atop
SPLITCOUNT= $(( $( wc -l $TEMP | cut -d' ' -f1) / $(( $( grep processor /proc/cpuinfo | wc -l ) + 4 )) ))
split -l $SPLITCOUNT $TEMP $TEMP 


# nested loops, for each target and for each chunk, start a background copy


for DEST in `cat $DSTLIST` ; do
  # this selects the "user@host" from user@host:/target/path
  HOST=$(expr substr $DEST 1 $(($(expr index $DEST :)-1)))
  # this selects the "/target/path" from user@host:/target/path
  DIR=$(expr substr $DEST $(($(expr index $DEST :)+1)) $(expr length $DEST))

  # loop over all the split tempfiles with ${TEMP}??
  for I in ${TEMP}?? ; do
   # use cpio in copy-out mode to stream the files through ssh
   # then ensure the target is in place in the remote host, cd into it,
   # and copy-in the files.
   # note the '&' at the end backgrounds this command, so the loop
   # will continue and generate more concurrent background jobs
   cat $I | cpio -o | ssh $HOST \
     "mkdir $DIR ; cd $DIR && cpio -idum --no-absolute-filenames" & 
   # sleep for a second before the next spawn to allow for ssh auth
   #  and so sshd doesn't start dropping new sessions
   sleep 1
  done
done

# cleanup the tempfiles
rm ${TEMP}??
rm $TEMP

Zobacz też http://rightsock.com/~kjw/Ramblings/tar_v_cpio.html aby uzyskać dodatkowe odniesienie do cpio i inspirację dla tego skryptu.

Edytuj: Alternatywna składnia tylko jednego src dst, bez tworzenia pliku docelowego srcfile:

multi-cpio.sh <(echo "/path/to/src") <(echo "user@host:/path/to/dest")