scp i kompresja w tym samym czasie, bez pośredniego zapisu

63

Jaki jest kanoniczny sposób na:

  • scp plik do zdalnej lokalizacji
  • kompresuj plik w tranzycie ( tarlub nie, pojedynczy plik lub cały folder, 7zalub coś jeszcze bardziej wydajnego)
  • wykonaj powyższe czynności bez zapisywania plików pośrednich

Znam takie rury muszlowe:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z

głównie:

  • zwijanie całego folderu w jeden tar
  • przekazać dane stdoutdo stdinprogramu kompresującego
  • zastosować agresywną kompresję

Jaki jest najlepszy sposób, aby to zrobić za pomocą sshłącza, gdy plik ląduje w zdalnym systemie plików?


Wolę nie sshfsmontować.


To nie działa:

scp <(tar cvf - MyBackups | 7za a -si -mx=9 -so) localhost:/tmp/tmp.tar.7z

dlatego:

/dev/fd/63: not a regular file
Robottinosino
źródło

Odpowiedzi:

102

Istnieje wiele sposobów robienia tego, co chcesz. Najprostszym jest użycie pìpe:

tar zcvf -  MyBackups | ssh user@server "cat > /path/to/backup/foo.tgz"

Tutaj obsługiwana jest kompresja, za pomocą tarktórej wywołań gzip( zflaga). Możesz także użyć compress( Z) i bzip( j). Na 7zto zrobić:

tar cf - MyBackups | 7za a -si -mx=9 -ms=on MyBackups.tar.7z | 
   ssh user@server "cat > /path/to/backup/foo.7z"

Najlepszym sposobem jest jednak pewnie rsync.

   Rsync is a fast and extraordinarily versatile  file  copying  tool.   It  can  copy
   locally, to/from another host over any remote shell, or to/from a remote rsync dae‐
   mon.  It offers a large number of options that control every aspect of its behavior
   and  permit  very  flexible  specification of the set of files to be copied.  It is
   famous for its delta-transfer algorithm, which reduces the amount of data sent over
   the network by sending only the differences between the source files and the exist‐
   ing files in the destination.  Rsync is widely used for backups and  mirroring  and
   as an improved copy command for everyday use.

rsyncma sposób zbyt wiele opcji. Naprawdę warto je przeczytać, ale są przerażające od pierwszego wejrzenia. Tymi, na których Ci zależy w tym kontekście, są:

    -z, --compress              compress file data during the transfer
        --compress-level=NUM    explicitly set compression level

   -z, --compress
          With this option, rsync compresses the file data as it is sent to the desti‐
          nation machine, which reduces the amount of data being transmitted --  
          something that is useful over a slow connection.

          Note  that this option typically achieves better compression ratios than can
          be achieved by using a compressing remote shell or a  compressing  transport
          because  it takes advantage of the implicit information in the matching data
          blocks that are not explicitly sent over the connection.

W twoim przypadku chciałbyś czegoś takiego:

rsync -z MyBackups user@server:/path/to/backup/

Pliki zostaną skompresowane podczas transportu i zostaną zdekompresowane do miejsca docelowego.


Więcej opcji do wyboru:

  • scp sam może kompresować dane

     -C      Compression enable.  Passes the -C flag to ssh(1) to
             enable compression.
    
    $ scp -C source user@server:/path/to/backup
    
  • Może być sposób na uzyskanie rsynci 7zadobrą zabawę, ale nie ma sensu tego robić. Zaletą rsyncjest to, że kopiuje tylko te bity, które zmieniły się między plikami lokalnymi i zdalnymi. Jednak niewielka lokalna zmiana może spowodować bardzo inny skompresowany plik, więc nie ma sensu tego używać rsync. To tylko komplikuje sprawy bez korzyści. Po prostu użyj bezpośredniego, sshjak pokazano powyżej. Jeśli naprawdę chcesz to zrobić, możesz spróbować, podając podpowłokę jako argument rsync. W moim systemie nie mogłem tego uruchomić, 7zaponieważ nie pozwala ci to na zapisywanie skompresowanych danych na terminalu. Być może Twoja implementacja jest inna. Spróbuj czegoś takiego ( to nie działa dla mnie ):

    rsync $(tar cf - MyBackups | 7za a -an -txz -si -so) \
      user@server:/path/to/backup
    
  • Inną kwestią jest to, że 7z nie należy jej używać do tworzenia kopii zapasowych w systemie Linux . Jak podano na 7zstronie podręcznika :

    NIE UŻYWAJ formatu 7-zip do tworzenia kopii zapasowych w systemie Linux / Unix, ponieważ:
    - 7-zip nie przechowuje właściciela / grupy pliku.

terdon
źródło
3
Warto dodać, że jeśli nie przesyłasz przez ogólnie wolną sieć, powiedzmy przez Internet, najlepiej unikać kompresji, ponieważ spowalnia ona szybkość przesyłania. W sieci LAN -zjest co najmniej dwa razy wolniejszy. Aby uzyskać jeszcze większą prędkość niż rsyncing przez ssh, skonfiguruj demona rsync i rsync za pomocą -Wflagi (kopiuje pliki w całości (bez algorytmu delta-xfer).
laebshade 30.03.2013
2
Dzięki! Mam zamiar przyjąć tę wielką odpowiedź, ale proszę, dodaj pełną, wiersz polecenia autonomicznych, który wykorzystuje zarówno rsync i 7za , z wyjściem ostatecznym do zdalnego systemu plików. Podobało mi się, -zale chciałbym oddzielić etap kompresji, więc ... jak mógłbym użyć rsyncw takim przypadku?
Robottinosino
2
@Robottinosino zobacz zaktualizowaną odpowiedź. Nie ma sensu korzystać rsyncz 7z. To powinno działać z rsync i subshel jak pokazano, ale nie mogłem dowiedzieć się, jak tak.
terdon
4
+1 dla scp -C. Na dysku zdalnym nie było wystarczającej ilości miejsca do przechowywania skompresowanego pliku, więc nie mogłem go skompresować przed przesłaniem. Jedna mała opcja wiersza poleceń sprawiła, że ​​mój problem zniknął.
user37931,
1
@knutole najpierw skompresuj plik, a następnie zsynchronizuj go. Jeśli potrzebujesz więcej informacji, zadaj nowe pytanie.
terdon
13

Myślę, że to polecenie załatwi sprawę

ssh user@host "cd /path/to/data/;tar zc directory_name" | tar zx 

EDYCJA: wcześniejsza wersja miała dwie złe opcje „f”.

Teraz przede wszystkim musisz wykonać to polecenie z hosta docelowego. I szczegóły do ​​wyjaśnienia:

  1. ssh użytkownik @ host otworzy połączenie z maszyną hosta, z którego dane mają zostać przesłane.
  2. cd / path / to / data przejdzie do katalogu, w którym przechowywane są wymagane dane
  3. tar zc * zainicjuje kompresję i umieści ją w STDOUT
  4. Teraz potok (|) potokuje STDOUT źródła do STDIN miejsca docelowego, w którym działa „tar zx” i stale dekompresuje strumień danych pochodzący ze źródła.

Jak widać, polecenie to kompresuje w locie i oszczędza przepustowość. Możesz także użyć innych kompresji, aby uzyskać lepsze wyniki, ale pamiętaj, że kompresja i dekompresja wymaga cykli procesora.

Odniesienie

dkbhadeshiya
źródło
tar: stara opcja „f” wymaga argumentu.
Dimitri Kopriwa,
7

Małe ulepszenie odpowiedzi dkbhadeshiya : nie musisz tego robić cd dir, po prostu podaj katalog roboczy do tar:

ssh user@host "tar -C /path/to/data/ -zc directory_name" | tar zx 

Możesz także przesłać katalog w ten sam sposób:

tar zc directory_name/ | ssh user@host "tar zx -C /new/path/to/data/"
tsionyx
źródło