O rsync é muito lento (fator 8 a 10) comparado ao cp na cópia de arquivos do nfs-share para o dir local

Eu tenho um servidor Ubuntu recém-instalado, que deve ser o novo servidor de backup para nosso armazenamento em VM. O servidor possui 4 placas de rede, 2 delas de 10 Gbit (na verdade, uma intel x540-T2 com o driver mais novo disponível) que são usadas para conectar-se à SAN. Eu tenho o nfs-share montado localmente e comparei as diferenças de velocidade ao copiar um diretório com ~ 30 arquivos, cerca de 15 vm-images e arquivos de log correspondentes. As imagens têm tamanho entre 8 GB e 600 GB.

Usando:

cp -rf /mnt/nfs-share /backup-storage/

o bmon mostra consequentemente cerca de 600 MiB / s.

Usando

rsync -av /mnt/nfs-share /backup-storage/

O bmon mostra alguns pacotes nos primeiros segundos, pára por cerca de 30 segundos e acumula cerca de 60 a 75 MiB / s. CPU é de cerca de 60%.

O que devo / posso mudar para usar rsynccom o mesmo desempenho que cp?

ubuntu rsync performance cp caminho da alma
fonte

Respostas:

Eu acho que essas diferenças estão bastante bem estabelecidas entre cpe rsync. Veja este artigo como uma referência, intitulada: Uma olhada no desempenho do rsync .

excerto:

The four commands tested were:

    rsync $SRC $DEST
    echo $SRC | cpio -p $DEST
    cp  $SRC $DEST
    cat $SRC > $DEST/$SRC

The results for rsync, cpio, cp, and cat were:

user    sys     elapsed hog MiB/s   test
5.24    77.92   101.86  81% 100.53  cpio
0.85    53.77   101.12  54% 101.27  cp
1.73    59.47   100.84  60% 101.55  cat
139.69  93.50   280.40  83% 36.52   rsync

Eu uso rsyncdiariamente. Há coisas que você pode fazer para melhorar a situação.

Por exemplo, você pode tentar usar o -Wswitch:

-W, --whole-file            copy files whole (w/o delta-xfer algorithm)

Também sugiro ter certeza de que você tem as versões 3.x do rsync. Houve melhorias notáveis quando passamos para as versões mais recentes.

slm
fonte

A maneira de fazer com que o rsync tenha o mesmo desempenho que o cp é soletrar "cp".

A diferença entre os dois comandos é significativa, mesmo que o efeito líquido possa ser o mesmo. Em particular, o rsync faz muita leitura para ver se algum arquivo ou parte de um arquivo deve ou não ser copiado.

Existe algum motivo para você querer usar o rsync? Como o cp copia "às cegas", você verá um desempenho bruto maior. Se, para um conjunto de condições de acionamento, o mecanismo "delta-transfer" do rsync for usado, você verá que as taxas de transferência caem e o uso da CPU aumenta consideravelmente da maneira que você relata.

msw
fonte

Estou ciente do comportamento, mas não esperava esse efeito. Eu pensei que, dado que o CPU-Power e o IOPS rsync devessem executar pelo menos 300 MiB / s, especialmente se o arquivo a ser copiado não existir. Ainda não terminei os testes. O backup com o rsync seria mais conveniente, mas também posso escrever um script usando cp, dd ou o que vier à mente. Agora, quero testar várias possibilidades em diferentes sistemas de arquivos para avaliar o que melhor se adequa.

soulpath

Você pode me chamar de empirista, mas quando suas expectativas e realidade discordam, geralmente não é a realidade que está errada. Há uma dúzia de razões pelas quais você pode estar sofrendo essa penalidade; até a intercalação de leituras e gravações em uma SAN pode ter impactos dramáticos no desempenho, dependendo dos detalhes do software.

msw

Eu não estava em dúvida sobre a realidade, apenas sobre o rsync - mas devido a essas diferenças, vou escrever um script usando cp e algumas somas de verificação. Obrigada pelo Conselho!

soulpath

Não, apenas não use o rsync em sistemas de arquivos em rede. Seu computador precisa baixar o arquivo inteiro, para que você perca todas as vantagens do rsync.

Giacomo Catenazzi

Infelizmente, esta resposta está errada em seus detalhes. Ao copiar entre sistemas de arquivos "locais" (e sim, uma montagem NFS é um sistema de arquivos local nesse contexto), rsync não lê o arquivo de destino ao copiar, a menos que você ative explicitamente esta operação contraproducente --whole-file. Nesta situação, é como um muito lento cp.

roaima