Jak wykonać kopię lustrzaną systemów plików za pomocą milionów linków?

W tej chwili mamy jeden duży problem: musimy wykonać kopię lustrzaną systemu plików dla jednego z naszych klientów. To zwykle nie jest problem, ale oto:

W tym systemie plików jest jeden folder z milionami dowiązań twardych (tak! MILIONÓW!). rsyncdo zbudowania listy plików potrzeba więcej niż 4 dni.

Korzystamy z następujących rsyncopcji:

rsync -Havz --progress serverA:/data/cms /data/

Czy ktoś ma pomysł, jak przyspieszyć ten rsync lub skorzystać z alternatyw? Nie mogliśmy użyć, ddponieważ dysk docelowy jest mniejszy niż źródło.

AKTUALIZACJA: Ponieważ oryginalny system plików jest ext3, spróbujemy dumpi restore. Będę cię aktualizować

Musisz zaktualizować obie strony do rsync 3. Z dziennika zmian:

- A new incremental-recursion algorithm is now used when rsync is talking
  to another 3.x version.  This starts the transfer going more quickly
  (before all the files have been found), and requires much less memory.
  See the --recursive option in the manpage for some restrictions.

Minęły ponad 2 lata od wydania rsync 3.0.0, ale niestety większość dystrybucji korporacyjnych oparta jest na kodzie starszym niż ten, co oznacza, że ​​prawdopodobnie używasz rsync 2.6.

Dla odniesienia (jeśli ktoś ma ten problem), jeśli są uruchomione już rsync 3, a następnie używasz opcji, które są niezgodne z bieżących rekursji. Ze strony podręcznika:

    Some options require rsync to know the full file list, so  these
    options  disable the incremental recursion mode.  These include:
    --delete-before,   --delete-after,    --prune-empty-dirs,    and
    --delay-updates.

Ponownie, obie strony muszą uruchomić rsync 3, aby można było obsługiwać przyrostową rekurencję.

Użyliśmy teraz zrzutu * ext. Działa dobrze, a strona przywracania nie musi nawet być rozszerzona *.

Zrobiliśmy kopię zapasową offline, podłączając urządzenie i wykorzystując dump vf - /dev/vg0/opt | gzip -c > /mnt/backup/ext3dump.gz.

Oto ostatnie linie, które można zobaczyć rozmiar, czas, prędkość i ostatnie numery i-węzłów:

DUMP: dumping regular inode 47169535
DUMP: dumping regular inode 47169536
DUMP: Volume 1 completed at: Wed Jun 29 05:42:57 2011
DUMP: Volume 1 54393520 blocks (53118.67MB)
DUMP: Volume 1 took 4:16:43
DUMP: Volume 1 transfer rate: 3531 kB/s
DUMP: 54393520 blocks (53118.67MB)
DUMP: finished in 15403 seconds, throughput 3531 kBytes/sec
DUMP: Date of this level  dump: Wed Jun 29 01:24:29 2011
DUMP: Date this dump completed:  Wed Jun 29 05:42:57 2011
DUMP: Average transfer rate: 3531 kB/s
DUMP: DUMP IS DONE

Możesz użyć LVM i zrobić migawki woluminu, a następnie zsynchronizować migawkę jako kopię zapasową.

Alternatywnie możesz połączyć to z inną odpowiedzią i użyć dump na woluminie migawki , aby uniknąć konieczności przełączania oryginalnego woluminu w tryb offline.