Czy istnieje sposób wykonywania scp równolegle do wielu systemów?

9

Czy można skopiować plik równolegle do wszystkich systemów jednocześnie? jak @ raz plik powinien zostać skopiowany na wszystkie maszyny ...

Karthick
źródło

Odpowiedzi:

9

Jest sposób. Zobacz tę stronę Ubuntu.

IMIĘ

   parallel-scp - parallel versions of scp

STRESZCZENIE

   parallel-scp [OPTIONS] -h hosts.txt local remote

OPIS

   pssh provides a number of commands for executing against a group of
   computers, using SSH. It's most useful for operating on clusters of
   homogenously-configured hosts.

   parallel-scp copy files in parallel to a set of machines.

Źródło: Ubuntu Manpages

Mitch
źródło
6
Niektóre przykłady tutaj byłyby świetne!
Jorge Castro,
parallel-scp: polecenie nie znaleziono
Jonathan
2

Tak, aby zainstalować program równoległy-scp, musisz zainstalować pakiet pssh:

sudo apt install pssh 

Następnie pojawią się polecenia (patrz man parallel-scp ):

man parallel-scp

NAME
       parallel-scp — parallel process kill program

SYNOPSIS
       parallel-scp [-vAr] [-h hosts_file] [-H [user@]host[:port]] [-l user] [-p par]
       [-o outdir] [-e errdir] [-t timeout] [-O options] [-x  args]  [-X  arg]  local
       remote

DESCRIPTION
       parallel-scp  is a program for copying files in parallel to a number of hosts.
       It provides features such as passing a  password  to  scp,  saving  output  to
       files, and timing out.

OPTIONS
       -h host_file
       --hosts host_file
              Read hosts from the given host_file.  Lines in the host file are of the
              form [user@]host[:port] and can include blank lines and comments (lines
              beginning  with  "#").  If multiple host files are given (the -h option
              is used more than once), then  parallel-scp  behaves  as  though  these
              files  were  concatenated  together.   If  a host is specified multiple
              times, then parallel-scp will connect the given number of times.

       -H     [user@]host[:port]
       --host [user@]host[:port]
       -H     "[user@]host[:port] [ [user@]host[:port ] ... ]"
       --host "[user@]host[:port] [ [user@]host[:port ] ... ]"
              Add the given host strings to the list of hosts.  This  option  may  be
              given  multiple  times,  and  may  be  used  in conjunction with the -h
              option.

       -l user
       --user user
              Use the given username as the default for any host entries  that  don't
              specifically specify a user.

       -p parallelism
       --par parallelism
              Use the given number as the maximum number of concurrent connections.

       -t timeout
       --timeout timeout
              Make  connections  time  out after the given number of seconds.  With a
              value of 0, parallel-scp will not timeout any connections.

       -o outdir
       --outdir outdir
              Save standard output to files in the given directory.  Filenames are of
              the  form  [user@]host[:port][.num]  where  the  user and port are only
              included for hosts that explicitly  specify  them.   The  number  is  a
              counter that is incremented each time for hosts that are specified more
              than once.

       -e errdir
       --errdir errdir
              Save standard error to files in the given directory.  Filenames are  of
              the same form as with the -o option.

       -x args
       --extra-args args
              Passes  extra  SSH  command-line arguments (see the ssh(1) man page for
              more information about SSH arguments).  This option  may  be  specified
              multiple  times.   The  arguments are processed to split on whitespace,
              protect text within quotes, and escape with backslashes.  To pass argu‐
              ments without such processing, use the -X option instead.

       -X arg
       --extra-arg arg
              Passes  a single SSH command-line argument (see the ssh(1) man page for
              more information about SSH arguments).  Unlike the -x option,  no  pro‐
              cessing  is  performed  on  the argument, including word splitting.  To
              pass multiple command-line arguments, use  the  option  once  for  each
              argument.

       -O options
       --options options
              SSH  options  in the format used in the SSH configuration file (see the
              ssh_config(5) man page for more information).  This option may be spec‐
              ified multiple times.

       -A
       --askpass
              Prompt for a password and pass it to ssh.  The password may be used for
              either to unlock a key or for password authentication.  The password is
              transferred  in  a  fairly  secure manner (e.g., it will not show up in
              argument lists).  However, be aware that a root  user  on  your  system
              could potentially intercept the password.

       -v
       --verbose
              Include error messages from ssh with the -i and \ options.

       -r
       --recursive
              Recursively copy directories.
Darrell Cahail
źródło
Myślę, że twoja odpowiedź jest niepełna. Pokazałeś, jak zainstalować narzędzie, ale nie jak go używać. Który nie odpowiada tutaj na pytanie.
Eskander Bejaoui,
1

Można to zrobić, zakładając, że wszystkie komputery docelowe mają odpowiednią konfigurację klucza ssh, więc nie trzeba wprowadzać hasła, aby się zalogować, to:

#!/bin/bash
FILE="/put/your/file/here.txt"
TARGET_PATH="/where/to/put/on/remote/system/"
MACHINES="machine1 machine2 machine3"

for current_machine in $MACHINES; do 
   scp $FILE $current_machine:$TARGET_PATH
done

nie zrobi tego równolegle, ale jeden po drugim; jednak nie trzeba osobno sprawdzać każdego polecenia osobno, wszystkie uruchamiane są automatycznie.

roadmr
źródło
To jest to, co robię cały czas, chociaż jako jedna linijka :) ... +1 (nawet jeśli nie równolegle)
0xC0000022L
Jeśli postawilibyśmy na &tyle, scp $FILE $current_machine:$TARGET_PATHjak sugerował @NiteRain, czy nie byłoby to w zasadzie wykonanie równoległe?
Metoda pomocnicza
Tak, to powinno działać.
roadmr
0

Podam kilka przykładów użycia tego polecenia:

  1. Aby zainstalować: sudo apt install pssha to udostępni ci następujące polecenia: -

    • parallel-scp: równoległy program zabijania procesów
    • parallel-ssh: równoległy program ssh
    • parallel-rsync: równoległy program zabijania procesów
    • parallel-slurp: równoległy program zabijania procesów
    • parallel-nuke: równoległy program zabijania procesów
  2. Użycie oparte na formacie:

    parallel-scp [-vAr] [-h plik_hostów] [-H [użytkownik @] host [: port]] [-l użytkownik] [-p par] [-o outdir] [-e errdir] [-t time- out] [-O opcje] [-x args] [-X arg] [-L localdir] remote local

    • Przykładowe zastosowanie:

      1. Utwórz hostsplik, z którego psshbędą odczytywane nazwy hostów, a plik przyjmie postać:

        • [user@]host[:port], stąd [email protected]: 333

          Each should be on a different line and comments are preceeded by a `#` character
          
      2. Rzeczywiste polecenie kopiowania:

        • parallel-scp -h /path/to/hosts/file src dest
        • Aby skopiować $ HOME / demo.txt tp / tmp / na wszystkie serwery:

          parallel-scp -h /path/to/hosts/file $HOME/demo.txt /tmp/
          

PREMIA

  1. Uruchom polecenie na wszystkich serwerach:

    parallel-ssh -i -h /path/to/hosts/file uptime
    
  2. Zabij proces na wszystkich serwerach:

    parallel-nuke -h /path/to/hosts/file firefox
    

Źródło: https://www.cyberciti.biz/cloud-computing/how-to-use-pssh-parallel-ssh-program-on-linux-unix/

George Udosen
źródło