rsync excluir de acordo com .gitignore & .hgignore & svn: ignore como --filter =: C

O Rsync inclui uma opção bacana --cvs-excludepara “ignorar os arquivos da mesma forma que o CVS”, mas o CVS está obsoleto há anos. Existe alguma maneira de fazer com que ele também exclua arquivos que seriam ignorados pelos sistemas de controle de versão modernos (Git, Mercurial, Subversion)?

Por exemplo, eu tenho muitos projetos Maven retirados do GitHub. Normalmente, eles incluem uma .gitignorelista, pelo menos target, o diretório padrão de construção do Maven (que pode estar presente no nível superior ou em submódulos). Como o conteúdo desses diretórios é totalmente descartável e podem ser muito maiores do que o código-fonte, gostaria de excluí-los ao usar o rsync para backups.

Claro que posso explicitamente, --exclude=target/mas isso suprimirá acidentalmente diretórios não relacionados que apenas foram nomeados targete não devem ser ignorados.

E eu poderia fornecer uma lista completa de caminhos absolutos para todos os nomes de arquivos e padrões mencionados em qualquer .gitignore, .hgignoreou svn:ignorepropriedade no meu disco, mas isso seria uma lista enorme que teria de ser produzida por algum tipo de script.

Visto que o rsync não tem suporte embutido para checkouts VCS além do CVS, existe algum bom truque para alimentá-lo com seus padrões de ignorar? Ou algum tipo de sistema de retorno de chamada por meio do qual um script de usuário pode ser perguntado se um determinado arquivo / diretório deve ser incluído ou não?

Atualização : --filter=':- .gitignore'como sugerido por LordJavac, parece funcionar tão bem para Git quanto --filter=:Cpara CVS, pelo menos nos exemplos que encontrei, embora não esteja claro se a sintaxe é uma correspondência exata. --filter=':- .hgignore'não funciona muito bem para o Mercurial; por exemplo, um .hgignorecontendo uma linha como ^target$(o Mercurial equivalente do Git /target/) não é reconhecido pelo rsync como uma expressão regular. E nada parece funcionar para o Subversion, para o qual você teria que analisar .svn/dir-prop-basepara uma cópia de trabalho 1.6 ou anterior, e desanimar para uma cópia de trabalho 1.7 ou posterior.

Conforme mencionado por luksan, você pode fazer isso com a --filterchave para rsync. Eu consegui isso com --filter=':- .gitignore'(há um espaço antes de ".gitignore") que diz rsyncpara fazer uma fusão de diretório com .gitignorearquivos e excluí-los de acordo com as regras do git. Você também pode adicionar seu arquivo global para ignorar, se tiver um. Para facilitar o uso, criei um alias rsyncque incluía o filtro.

Você pode usar git ls-filespara construir a lista de arquivos excluídos pelos arquivos do repositório .gitignore. https://git-scm.com/docs/git-ls-files

Opções:

• --exclude-standardConsidere todos os .gitignorearquivos.
• -o Não ignore as mudanças não planejadas.
• -i Produzir apenas arquivos ignorados.
• --directory Somente imprima o caminho do diretório se todo o diretório for ignorado.

A única coisa que deixei para ignorar foi .git.

rsync -azP --exclude=.git --exclude=`git -C <SRC> ls-files --exclude-standard -oi --directory` <SRC> <DEST>

que tal rsync --exclude-from='path/.gitignore' --exclude-from='path/myignore.txt' source destination?
Funcionou para mim
Eu acredito que você pode ter mais --exclude-fromparâmetros também.

Solução 2018 confirmada

rsync -ah --delete 
    --include .git --exclude-from="$(git -C SRC ls-files \
        --exclude-standard -oi --directory >.git/ignores.tmp && \
        echo .git/ignores.tmp')" \
    SRC DST 

Detalhes: --exclude-fromé obrigatório em vez de --exclude porque o caso provável dessa lista de exclusões não seria analisado como um argumento. Excluir de requer um arquivo e não pode funcionar com tubos.

A solução atual salva o arquivo de exclusão dentro da pasta .git para garantir que ele não afetará git status, mantendo-o independente. Se você quiser, pode usar / tmp.

Para mercurial, você pode usar

hg status -i | sed 's/^I //' > /tmp/tmpfile.txt

para coletar a lista de arquivos que NÃO estão sob controle mercurial por causa das restrições .hgignore e, em seguida, execute

rsync -avm --exclude-from=/tmp/tmpfile.txt --delete source_dir/ target_dir/

para sincronizar todos os arquivos, exceto os ignorados. Observe -m sinalizador em rsync que excluirá diretórios vazios da sincronização porque hg status -i listaria apenas arquivos excluídos, não dirs

Experimente isto:

rsync -azP --delete --filter=":- .gitignore" <SRC> <DEST>

Ele pode copiar todos os arquivos para um diretório remoto, excluindo arquivos em '.gitignore', e excluir arquivos que não estejam em seu diretório atual.

De acordo com a rsyncpágina do manual, além da lista padrão de padrões de arquivo:

os arquivos listados em $ HOME / .cvsignore são adicionados à lista e quaisquer arquivos listados na variável de ambiente CVSIGNORE

Então, meu arquivo $ HOME / .cvsignore se parece com isto:

.git/
.sass-cache/

para excluir .git e os arquivos gerados pelo Sass .

Eu tinha vários .gitignorearquivos muito grandes e nenhuma das soluções de "rsync puro" funcionou para mim. Eu escrevi este script de wrapper rsync , ele respeita totalmente as .gitignoreregras ( !exceções de estilo de inclusão e .gitignorearquivos em subdiretórios) e tem funcionado perfeitamente para mim.

Verifique a seção MERGE-FILES FILTER RULES em rsync (1).

Parece que é possível criar uma regra rsync --filter que incluirá arquivos .gitignore conforme atravessa a estrutura de diretório.

Em vez de criar filtros de exclusão, você pode usar git ls-filespara selecionar cada arquivo para rsync:

#!/usr/bin/env bash

if [[ ! $# -eq 2 ]] ; then
    echo "Usage: $(basename $0) <local source> <rsync destination>"
    exit 1
fi

cd $1
versioned=$(git ls-files --exclude-standard)
rsync --verbose --links --times --relative --protect-args ${versioned} $2

Isso funciona mesmo que git ls-filesretorne caminhos separados por nova linha. Provavelmente não funcionará se você tiver arquivos versionados com espaços nos nomes dos arquivos.

Alternativas:

git ls-files -zi --exclude-standard |rsync -0 --exclude-from=- ...

git ls-files -zi --exclude-per-directory=".gitignore" |...

(o rsync entende apenas parcialmente .gitignore)

Resposta curta

rsync -r --info=progress2 --filter=':- .gitignore' SOURCE DEST/

Significado dos parâmetros:

-r: recursivo

--info=...: mostrar progresso

--filter=...: exclui pelas regras listadas no arquivo .gitignore