Como fazer o rsync apenas para uma lista específica de arquivos?

Tenho cerca de 50 arquivos em vários subdiretórios que gostaria de enviar para um servidor remoto. Achei que o rsync seria capaz de fazer isso por mim usando a opção --include-from. Sem a opção --exclude = "*", todos os arquivos no diretório estão sendo sincronizados, com a opção, nenhum arquivo está.

rsync -avP -e ssh --include-from=deploy/rsync_include.txt --exclude=* ./ [email protected]:/var/www/ --dry-run

Estou executando-o como seco inicialmente e 0.0.0.0 foi obviamente substituído pelo IP do servidor remoto. O conteúdo de rsync_include.txt é uma nova lista separada por linha de caminhos relativos para os arquivos que desejo enviar.

Existe uma maneira melhor de fazer isso que está me escapando na segunda-feira de manhã?

Edit: A resposta de Josip Rodin abaixo é melhor. Por favor, use esse!

Talvez seja mais fácil se você estiver procurando por uma lista específica de arquivos, colocando-os diretamente na linha de comando:

# rsync -avP -e ssh `cat deploy/rsync_include.txt` [email protected]:/var/www/

Isso pressupõe, no entanto, que sua lista não é tão longa que o comprimento da linha de comando será um problema e que o rsync_include.txtarquivo contém apenas caminhos reais (ou seja, sem comentários e sem regexps).

Existe uma bandeira --files-fromque faz exatamente o que você deseja. De man rsync:

--files-from=FILE

O uso desta opção permite que você especifique a lista exata de arquivos a serem transferidos (conforme lidos no ARQUIVO especificado ou - para entrada padrão). Ele também ajusta o comportamento padrão do rsync para facilitar a transferência apenas dos arquivos e diretórios especificados:

• A opção --relative (-R) está implícita, o que preserva as informações de caminho que são especificadas para cada item no arquivo (use --no-relative ou --no-R se você quiser desligar isso).

• A opção --dirs (-d) está implícita, o que criará diretórios especificados na lista no destino ao invés de ignorá-los ruidosamente (use --no-dirs ou --no-d se você quiser desligá-los).

• O comportamento da opção --archive (-a) não implica --recursive (-r), então especifique-o explicitamente, se você quiser.

• Estes efeitos colaterais mudam o estado padrão do rsync, então a posição da opção --files-from na linha de comando não tem relação com a forma como as outras opções são analisadas (por exemplo, -a funciona da mesma forma antes ou depois de --files- de, assim como --no-R e todas as outras opções).

Os nomes de arquivo que são lidos do ARQUIVO são todos relativos ao diretório de origem - quaisquer barras iniciais são removidas e nenhuma referência ".." tem permissão para ir além do diretório de origem. Por exemplo, use este comando:

rsync -a --files-from=/tmp/foo /usr remote:/backup

Se / tmp / foo contém a string "bin" (ou mesmo "/ bin"), o diretório / usr / bin será criado como / backup / bin no host remoto. Se ele contiver "bin /" (observe a barra final), o conteúdo imediato do diretório também será enviado (sem a necessidade de ser mencionado explicitamente no arquivo - isso começou na versão 2.6.4). Em ambos os casos, se a opção -r fosse habilitada, toda a hierarquia do dir também seria transferida (tenha em mente que -r precisa ser especificado explicitamente com --files-from, uma vez que não está implícito em -a). Observe também que o efeito da opção (habilitada por padrão) --relative é duplicar apenas as informações do caminho que são lidas do arquivo - não força a duplicação do caminho da especificação da fonte (/ usr neste caso) .

Além disso, o arquivo --files-from pode ser lido do host remoto em vez do host local se você especificar um "host:" na frente do arquivo (o host deve corresponder a uma extremidade da transferência). Como um atalho, você pode especificar apenas um prefixo de ":" para significar "usar o fim remoto da transferência". Por exemplo:

rsync -a --files-from=:/path/file-list src:/ /tmp/copy

Isso copiaria todos os arquivos especificados no arquivo / path / file-list que estava localizado no host "src" remoto.

Se as opções --iconv e --protect-args forem especificadas e os nomes de arquivos --files-from estiverem sendo enviados de um host para outro, os nomes dos arquivos serão traduzidos do conjunto de caracteres do host de envio para o conjunto de caracteres do host de recebimento.

NOTA: classificar a lista de arquivos na entrada --files-from ajuda o rsync a ser mais eficiente, pois evitará revisitar os elementos do caminho que são compartilhados entre as entradas adjacentes. Se a entrada não for classificada, alguns elementos de caminho (diretórios implícitos) podem acabar sendo verificados várias vezes e o rsync acabará por desduplicá-los depois de serem transformados em elementos de lista de arquivos.

--files-from=O parâmetro precisa de uma barra final se você quiser manter o caminho absoluto intacto. Portanto, seu comando seria algo como abaixo:

rsync -av --files-from=/path/to/file / /tmp/

Isso pode ser feito como se houvesse um grande número de arquivos e você deseja copiar todos os arquivos para o caminho x. Assim, você encontraria os arquivos e geraria a saída para um arquivo como abaixo:

find /var/* -name *.log > file

Para que fique registrado, nenhuma das respostas acima ajudou, exceto uma. Para resumir, você pode fazer a operação de backup --files-from=usando:

 rsync -aSvuc `cat rsync-src-files` / mnt / d / rsync_test /

OU

rsync -aSvuc --recursive --files-from = rsync-src-files. / mnt / d / rsync_test /

O primeiro comando é autoexplicativo, ao lado do conteúdo do arquivo rsync-src-filesque elaborarei a seguir. Agora, se você quiser usar a última versão, você precisa ter em mente as seguintes quatro observações:

1. Observe que é necessário especificar ambos --files-frome o diretório de origem
2. É preciso especificar explicitamente --recursive.
3. O arquivo rsync-src-filesé um arquivo criado pelo usuário e foi colocado no diretório src para este teste
4. Eles rsyn-src-filescontêm os arquivos e pastas a serem copiados e são levados em relação ao diretório de origem. IMPORTANTE: Certifique-se de que não haja espaços à direita ou linhas em branco no arquivo. No exemplo abaixo, existem apenas duas linhas, não três (descubra por acaso). Conteúdo de rsynch-src-filesé:

folderName1
folderName2

Recebi uma tarefa semelhante: fazer rsync para todos os arquivos modificados após determinada data, mas excluindo alguns diretórios. Era difícil construir um estilo all-in-one de revestimento, então mergulhei o problema em pedaços menores. Solução final:

find  ~/sourceDIR -type f -newermt "DD MMM YYYY HH:MM:SS" | egrep -v "/\..|Downloads|FOO" > FileList.txt
rsync -v --files-from=FileList.txt ~/sourceDIR /Destination

Primeiro eu uso find -L ~/sourceDIR -type f -newermt "DD MMM YYYY HH:MM:SS". Tentei adicionar regexà findlinha para excluir padrões de nome, porém meu sabor de Linux (Mint) parece não entender negar regex em find. Número experimentado de sabores de regex - não funciona como desejado. Então eu acabo com egrep -v- opção que exclui o padrão de maneira fácil. Meu rsyncnão está copiando diretórios como /.cache ou /.config além de alguns outros que nomeei explicitamente.

$ date
  Wed 24 Apr 2019 09:54:53 AM PDT
$ rsync --version
  rsync  version 3.1.3  protocol version 31
  ...

Sintaxe: rsync <file_/_folder_list> <source> <target>

Os nomes das pastas (aqui, COM um final /; por exemplo Cancer - Evolution/) estão em um arquivo de lista de pastas (por exemplo: cm_folder_list_test):

# /mnt/Vancouver/projects/ie/claws/data/cm_folder_list_test
# test file: 2019-04-24
Cancer/
Cancer - Evolution/
Cancer - Genomic Variants/
Cancer - Metastasis (EMT Transition ...)/
Cancer Pathways, Networks/
Catabolism - Autophagy; Phagosomes; Mitophagy/
Catabolism - Lysosomes/

Se você não incluir aqueles à direita /, as pastas de destino rsync serão criadas, mas estarão vazias.

Esses nomes de pasta são anexados ao resto de seu caminho ( /home/victoria/Mail/2_RESEARCH - NEWS), fornecendo assim o caminho de pasta completo para rsync; por exemplo: /home/victoria/Mail/2_RESEARCH - NEWS/Cancer - Evolution/.

Observe que você também precisa usar --files-from=..., NÃO --include-from=...

rsync -aqP --delete --files-from=/mnt/Vancouver/projects/ie/claws/data/cm_folder_list_test "/home/victoria/Mail/2_RESEARCH - NEWS" $IN/

(No meu script BASH, defini a variável da $INseguinte forma.)

BASEDIR="/mnt/Vancouver/projects/ie/claws"
IN=$BASEDIR/data/test/input

Opções de rsync usadas:

 -a  :   archive: equals -rlptgoD (no -H,-A,-X)
    -r  :   recursive
    -l  :   copy symlinks as symlinks
    -p  :   preserve permissions
    -t  :   preserve modification times 
    -g  :   preserve group 
    -o  :   preserve owner (super-user only) 
    -D  :   same as --devices --specials 
  -q  :   quiet (/server/547106/run-totally-silent-rsync)

  --delete
    This  tells  rsync to delete extraneous files from the RECEIVING SIDE (ones
    that AREN’T ON THE SENDING SIDE), but only for the directories that are
    being synchronized.  You must have asked rsync to send the whole directory
    (e.g.  "dir" or "dir/") without using a wildcard for the directory’s contents
    (e.g. "dir/*") since the wildcard is expanded by the shell and rsync thus
    gets a request to transfer individual files, not the files’ parent directory.
    Files  that  are  excluded  from  the transfer are also excluded from being
    deleted unless you use the --delete-excluded option or mark the rules as
    only matching on the sending side (see the include/exclude modifiers in the
    FILTER RULES section).  ...

Esta resposta não é a resposta direta para a pergunta. Mas deve ajudá-lo a descobrir qual solução se encaixa melhor para o seu problema.

Ao analisar o problema você deve ativar a opção de depuração -vv

Em seguida, o rsync irá mostrar quais arquivos são incluídos ou excluídos por qual padrão:

building file list ... 
[sender] hiding file FILE1 because of pattern FILE1*
[sender] showing file FILE2 because of pattern *

Nenhuma dessas respostas funcionou para mim, quando tudo que eu tinha era uma lista de diretórios . Então eu tropecei na solução! Você tem que adicionar -ra --files-fromcausa -anão será recursiva neste cenário (que sabia ?!).

rsync -aruRP --files-from=directory.list . ../new/location