Existe uma maneira de determinar o valor ideal para o parâmetro bs para dd?

Na ocasião, vi comentários on-line ao longo das linhas de "certifique-se de definir 'bs =' porque o valor padrão levará muito tempo" e minhas próprias experiências extremamente não científicas de ", bem que pareceu levar mais tempo do que o outro tempo na semana passada "parece confirmar isso. Portanto, sempre que eu uso 'dd' (normalmente no intervalo de 1-2 GB), certifique-se de especificar o parâmetro bytes. Na metade do tempo, uso o valor especificado em qualquer guia on-line do qual estou copiando; o resto do tempo, selecionarei um número que faça sentido na lista 'fdisk -l', pois suponho que a mídia seja mais lenta (por exemplo, o cartão SD para o qual estou escrevendo).

Para uma determinada situação (tipo de mídia, tamanhos de barramento ou o que mais importa), existe uma maneira de determinar um "melhor" valor? É fácil determinar? Caso contrário, existe uma maneira fácil de obter 90 a 95% do caminho até lá? Ou é "apenas escolher algo maior que 512", mesmo a resposta correta?

Pensei em tentar o experimento, mas (além de muito trabalho) não tenho certeza de quais fatores afetam a resposta, por isso não sei como projetar um bom experimento.

dddata de quando era necessário converter fitas antigas de mainframe IBM, e o tamanho do bloco tinha que coincidir com o usado para gravar a fita ou os blocos de dados seriam ignorados ou truncados. (As fitas de 9 faixas eram exigentes. Fique feliz por estarem mortas há muito tempo.) Atualmente, o tamanho do bloco deve ser múltiplo do tamanho do setor do dispositivo (geralmente 4KB, mas em discos muito recentes pode ser muito maior e em um polegar muito pequeno). as unidades podem ser menores, mas 4KB é um meio termo razoável, independentemente) e quanto maior, melhor o desempenho. Costumo usar tamanhos de bloco de 1 MB com discos rígidos. (Temos muito mais memória para usar nos dias de hoje também.)

Existe apenas uma maneira de determinar o tamanho ideal do bloco, e isso é uma referência. Acabei de fazer uma referência rápida. A máquina de teste é um PC executando o Debian GNU / Linux, com o kernel 2.6.32 e o coreutils 8.5. Ambos os sistemas de arquivos envolvidos são ext3 em volumes LVM em uma partição do disco rígido. O arquivo de origem é de 2 GB (2040000kB, para ser mais preciso). O cache e o buffer estão ativados. Antes de cada execução, esvaziei o cache sync; echo 1 >|/proc/sys/vm/drop_caches. Os tempos de execução não incluem uma final syncpara liberar os buffers; a final syncleva na ordem de 1 segundo. As sameexecuções eram cópias no mesmo sistema de arquivos; as diffexecuções eram cópias para um sistema de arquivos em um disco rígido diferente. Por consistência, os tempos relatados são os tempos de relógio de parede obtidos com otimeutilitário, em segundos. Eu executei cada comando apenas uma vez, então não sei quanta variação existe no tempo.

             same   diff
dd bs=64M    71.1   51.3
dd bs=1M     73.9   41.8
dd bs=4k     79.6   48.5
dd bs=512    85.3   48.9
cat          76.2   41.7
cp           77.8   45.3

Conclusão: um grande tamanho de bloco (vários megabytes) ajuda, mas não drasticamente (muito menos do que eu esperava para cópias na mesma unidade). E cate cpnão executam tão mal. Com esses números, não acho que ddvalha a pena se preocupar. Vá com cat!

Concordo com o geekosaur que o tamanho deve ser múltiplo do tamanho do bloco, que geralmente é de 4K.

Se você deseja encontrar o tamanho do bloco, stat -c "%o" filenameprovavelmente é a opção mais fácil.

Mas diga que sim dd bs=4K, isso significa que sim read(4096); write(4096); read(4096); write(4096)...

Cada chamada do sistema envolve uma opção de contexto, que envolve alguma sobrecarga e, dependendo do agendador de E / S, leituras com gravações intercaladas podem fazer com que o disco faça muitas buscas. (Provavelmente não é um grande problema com o agendador do Linux, mas, no entanto, algo para se pensar.)

Portanto, se o fizer bs=8K, permita que o disco leia dois blocos de cada vez, que provavelmente estão próximos no disco, antes de procurar outro local para fazer a gravação (ou fazer a manutenção da E / S para outro processo).

Por essa lógica, bs=16Ké ainda melhor, etc.

Então, o que eu gostaria de saber é se existe um limite superior em que o desempenho começa a piorar ou se é limitado apenas pela memória.

Como Gilles diz, você pode determinar o parâmetro ideal para a opção bs para dd comparando. Isso, no entanto, levanta a questão: como você pode comparar convenientemente esse parâmetro?

Minha resposta provisória a esta pergunta é: use o dd-opt , o utilitário em que recentemente comecei a trabalhar para resolver exatamente esse problema :)

Otimizei para o leitor de sdcard usb2.0, que parece funcionar melhor bs=10M. Eu tentei 4k, em até 16M, depois de 8-10M, nenhuma melhoria. Você pode ver como a medição da taxa de transferência se degrada ... provavelmente devido ao carregamento dos buffers no dispositivo e aguardando a transferência do dispositivo para o meio real.

angstrom/sdcard# dd if=/dev/zero of=/dev/sdb bs=10M
123+0 records in
123+0 records out
1289748480 bytes (1.3 GB) copied, 21.4684 s, 60.1 MB/s
341+0 records in
341+0 records out
3575644160 bytes (3.6 GB) copied, 117.636 s, 30.4 MB/s
816+0 records in
816+0 records out
8556380160 bytes (8.6 GB) copied, 326.588 s, 26.2 MB/s
955+0 records in
955+0 records out
10013900800 bytes (10 GB) copied, 387.456 s, 25.8 MB/s