Otimizando o rsync para transferir arquivos enormes rapidamente

19

Isto é o que eu preciso:

  • Daemon Rsync em execução no servidor de origem. O servidor de destino executa um rsync como abaixo: 
    rsync -ptv rsync: // código-fonte: document / caminho-da-fonte / *. abc caminho-da-destino /
  • Arquivos binários enormes (3 GB a 5 GB) são copiados da máquina de origem para o destino em uma LAN. Portanto, nenhuma criptografia / descriptografia é necessária. Portanto, não usando SSH. A máquina de destino se conecta diretamente ao daemon rsync.
  • A pasta de destino sempre estará vazia antes do recebimento do rsync. Portanto, não preciso me preocupar em atualizar condicionalmente alguns arquivos. O pull Rsync sempre cria novos arquivos no destino (não é atualizado). Portanto, não preciso do rsync para calcular somas de verificação.

Não estou satisfeito com a quantidade de CPU consumida pelo rsync na extremidade de recebimento? Quais opções do rsync me ajudarão a otimizar o uso do rsync no caso acima explicado. O que me preocupa é que o rsync possa estar fazendo mais do que o que eu preciso. arquivos de somas de verificação rsync. Eu não preciso disso.

Também gostaria de ver melhorias na velocidade.

Alterar o tamanho do bloco, desativar a soma de verificação etc ajudará?

rsync files Varun
fonte
Não use o rsync se não houver deltas para transferir.
Womble
3
@ womble: Qual ferramenta devo usar então? Rsync foi sugerido aqui- serverfault.com/questions/384467/...
Varun
netcat ou scp com a cifra nula.
Womble
3
Scp com cifra nula? Você tem certeza que o scp suporta codificação nula. Você pode dar um exemplo ou me indicar recursos relevantes?
Varun

Respostas:

25

Parece que você pode querer dar uma olhada no botão --whole-fileou -W. Isso é ativado por padrão se o rsync estiver fazendo cópias do sistema de arquivos local, mas acho que os documentos recomendam seu uso se a velocidade da LAN for alta e sincronizada pela rede.

Basicamente, ele desativa o algoritmo rsync delta e apenas transfere o arquivo inteiro, se achar que é diferente.

Você não precisa se preocupar com a soma de verificação, a menos que force -c. Por padrão, ele apenas analisa a hora da última modificação e o tamanho do arquivo e assume que os arquivos são diferentes se esses valores forem diferentes.

crescer
fonte