rsync wyklucz zgodnie z .gitignore & .hgignore & svn: ignore like --filter =: C

Rsync zawiera sprytną opcję --cvs-exclude„ignorowania plików w taki sam sposób, jak robi to CVS”, ale CVS był przestarzały od lat. Czy istnieje sposób, aby wykluczyć również pliki, które byłyby ignorowane przez nowoczesne systemy kontroli wersji (Git, Mercurial, Subversion)?

Na przykład mam wiele projektów Mavena pobranych z GitHub. Zazwyczaj zawierają .gitignoreprzynajmniej listę target, domyślny katalog kompilacji Mavena (który może znajdować się na najwyższym poziomie lub w modułach podrzędnych). Ponieważ zawartość tych katalogów jest całkowicie jednorazowa i może być znacznie większa niż kod źródłowy, chciałbym je wykluczyć podczas używania rsync do tworzenia kopii zapasowych.

Oczywiście mogę wyraźnie, --exclude=target/ale spowoduje to przypadkowe zablokowanie niepowiązanych katalogów, które akurat zostały nazwane targeti nie powinny być ignorowane.

I mogę dostarczyć kompletną listę ścieżek bezwzględnych dla wszystkich nazw plików i wzorów wymienionych w dowolnym .gitignore, .hgignorelub svn:ignoremienia na moim dysku, ale to byłaby ogromna lista, która musiałaby być produkowane przez jakiegoś skryptu.

Ponieważ rsync nie ma wbudowanej obsługi wyewidencjonowania VCS innej niż CVS, czy jest jakaś dobra sztuczka do podawania mu wzorców ignorowania? Lub jakiś system wywołań zwrotnych, w którym skrypt użytkownika może zostać zapytany, czy dany plik / katalog powinien być uwzględniony, czy nie?

Aktualizacja : --filter=':- .gitignore'zgodnie z sugestią LordJavaca wydaje się działać tak samo dobrze dla Gita, jak --filter=:Cdla CVS, przynajmniej na przykładach, które znalazłem, chociaż nie jest jasne, czy składnia jest dokładnie zgodna. --filter=':- .hgignore'nie działa zbyt dobrze w przypadku Mercurial; np. .hgignorewiersz zawierający linię taką jak ^target$(Mercurial odpowiednik Git /target/) nie jest rozpoznawany przez rsync jako wyrażenie regularne. Wydaje się, że nic nie działa dla Subversion, dla której musiałbyś przeanalizować .svn/dir-prop-basekopię roboczą 1.6 lub wcześniejszą i wznieść ręce z konsternacją, aby uzyskać kopię roboczą 1.7 lub nowszą.

Jak wspomniał luksan, możesz to zrobić, --filterprzełączając się na rsync. Osiągnąłem to z --filter=':- .gitignore'(jest spacja przed ".gitignore"), który mówi, rsyncaby wykonać połączenie katalogów z .gitignoreplikami i wykluczyć je zgodnie z regułami gita. Możesz także dodać swój globalny plik ignorowania, jeśli taki masz. Aby ułatwić korzystanie z niego, utworzyłem alias, do rsyncktórego dołączyłem filtr.

Możesz użyć git ls-filesdo zbudowania listy plików wykluczonych przez .gitignorepliki repozytorium . https://git-scm.com/docs/git-ls-files

Opcje:

• --exclude-standardRozważ wszystkie .gitignorepliki.
• -o Nie ignoruj ​​zmian niestopowych.
• -i Wyprowadzaj tylko ignorowane pliki.
• --directory Podaj ścieżkę katalogu tylko wtedy, gdy cały katalog jest ignorowany.

Jedyne, co mogłem zignorować, to .git.

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

co powiesz na to rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination?
U mnie to zadziałało.
Uważam, że możesz mieć też więcej --exclude-fromparametrów.

Rozwiązanie 2018 potwierdzone

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

Szczegóły: --exclude-fromjest obowiązkowe zamiast --exclude, ponieważ prawdopodobny przypadek, który zawiera listę wykluczeń, nie zostałby przeanalizowany jako argument. Wyklucz z wymaga pliku i nie może działać z potokami.

Bieżące rozwiązanie zapisuje plik wykluczenia w folderze .git, aby zapewnić, że nie wpłynie git statusto na jego niezależność. Jeśli chcesz, możesz użyć / tmp.

W przypadku rtęci możesz użyć

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

aby zebrać listę plików, które NIE są pod kontrolą rtęci z powodu ograniczeń .hgignore, a następnie uruchomić

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

rsync wszystkie pliki poza ignorowanymi. Ogłoszenie flaga -m w rsync wyklucza puste katalogi z synchronizacji, ponieważ hg status -i wyświetla tylko wykluczone pliki, a nie katalogi

Spróbuj tego:

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

Może kopiować wszystkie pliki do zdalnego katalogu z wyjątkiem plików z „.gitignore” i usuwać pliki, których nie ma w bieżącym katalogu.

Na rsyncstronie podręcznika , oprócz standardowej listy wzorców plików:

pliki wymienione w $ HOME / .cvsignore są dodawane do listy, a wszystkie pliki wymienione w zmiennej środowiskowej CVSIGNORE

Tak więc mój plik $ HOME / .cvsignore wygląda następująco:

.git/
.sass-cache/

aby wykluczyć .git i pliki wygenerowane przez Sass .

Miałem wiele bardzo dużych .gitignoreplików i żadne z rozwiązań „czystego rsync” nie działało. Napisałem ten skrypt opakowujący rsync , w pełni szanuje .gitignorereguły ( !wyjątki w stylu dołączania i .gitignorepliki w podkatalogach) i działa dla mnie jak urok.

Sprawdź sekcję ZASADY FILTROWANIA PLIKÓW MERGE w rsync (1).

Wygląda na to, że można utworzyć regułę rsync --filter, która będzie obejmować pliki .gitignore podczas przeglądania struktury katalogów.

Zamiast tworzyć filtry wykluczania, możesz użyć git ls-files do wybrania każdego pliku do rsync:

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

Działa to nawet wtedy, gdy git ls-fileszwraca ścieżki oddzielone znakiem nowej linii. Prawdopodobnie nie zadziała, jeśli masz wersjonowane pliki ze spacjami w nazwach plików.

Alternatywy:

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

(rsync tylko częściowo rozumie .gitignore)

Krótka odpowiedź

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

Znaczenie parametrów:

-r: rekurencyjny

--info=...: pokaż postęp

--filter=...: wyklucz według reguł wymienionych w pliku .gitignore

Po godzinach poszukiwań znalazłem dokładnie to, czego potrzebuję: synchronizację folderu docelowego z folderem źródłowym (również usuwanie plików w miejscu docelowym, jeśli zostały usunięte w źródle) i nie kopiowanie do miejsca docelowego plików, które są ignorowane przez .gitignore, ale też nie usuwać tych plików w miejscu docelowym :

clear && rsync -vhra /source/project/ /destination/project/ --include='**.gitignore' --exclude='/.git' --filter=':- .gitignore' --delete-after

Innymi słowy, to polecenie całkowicie ignoruje pliki z .gitignore, zarówno w źródle, jak iw miejscu docelowym . Możesz pominąć --exclude='/.git'część, jeśli chcesz skopiować plik.git folder.

MUSISZ skopiować pliki .gitignore ze źródła. Jeśli użyjesz polecenia LordaJavaca, plik .gitignore nie zostanie skopiowany. A jeśli utworzysz plik w folderze docelowym, który powinien zostać zignorowany przez .gitignore, ten plik zostanie usunięty pomimo .gitignore. Dzieje się tak, ponieważ nie masz plików .gitignore w miejscu docelowym. Ale jeśli będziesz mieć te pliki, pliki opisane w .gitignore nie zostaną usunięte, zostaną zignorowane, po prostu oczekiwane.