Movendo 2 TB (10 mil arquivos + dirs), qual é o meu gargalo?

fundo

I ficou sem espaço no /home/datae necessidade de transferência /home/data/repopara /home/data2.

/home/data/repocontém 1 milhão de diretórios, cada um contendo 11 diretórios e 10 arquivos. Totaliza 2 TB.

/home/dataestá no ext3 com o dir_index ativado. /home/data2está no ext4. Executando o CentOS 6.4.

Suponho que essas abordagens sejam lentas devido ao fato de repo/ter 1 milhão de dirs diretamente abaixo dela.

Tentativa 1: mvé rápido, mas é interrompido

Eu poderia ser feito se isso tivesse terminado:

/home/data> mv repo ../data2

Mas foi interrompido após a transferência de 1,5 TB. Ele estava escrevendo a cerca de 1 GB / min.

Tentativa 2: rsyncrastreia após 8 horas de construção da lista de arquivos

/home/data> rsync --ignore-existing -rv repo ../data2

Demorou várias horas para criar a 'lista de arquivos incrementais' e depois é transferida a 100 MB / min.

Eu o cancelo para tentar uma abordagem mais rápida.

Tentativa 3a: mvreclama

Testando-o em um subdiretório:

/home/data/repo> mv -f foobar ../../data2/repo/
mv: inter-device move failed: '(foobar)' to '../../data2/repo/foobar'; unable to remove target: Is a directory

Não sei ao certo o que é esse erro, mas talvez cppossa me salvar.

Tentativa 3b: cpnão chega a lugar algum após 8 horas

/home/data> cp -nr repo ../data2

Ele lê o disco por 8 horas e eu decido cancelá-lo e voltar ao rsync.

Tentativa 4: rsyncrastreia após 8 horas de construção da lista de arquivos

/home/data> rsync --ignore-existing --remove-source-files -rv repo ../data2

Eu --remove-source-filesachava que poderia ser mais rápido se eu começar a limpeza agora.

Demora pelo menos 6 horas para criar a lista de arquivos e depois transfere entre 100 e 200 MB / min.

Mas o servidor ficou sobrecarregado da noite para o dia e minha conexão foi fechada.

Tentativa 5: EXISTEM SOMENTE 300 GB PARA MOVER POR QUE ISSO É TÃO DOLORIZADO

/home/data> rsync --ignore-existing --remove-source-files -rvW repo ../data2

Interrompido novamente. O -Wquase parecia tornar o "envio da lista de arquivos incrementais" mais rápido, o que, na minha opinião, não faria sentido. Independentemente disso, a transferência é terrivelmente lenta e estou desistindo dessa.

Tentativa 6: tar

/home/data> nohup tar cf - . |(cd ../data2; tar xvfk -)

Basicamente, tentando copiar novamente tudo, menos ignorando os arquivos existentes. Ele precisa percorrer 1,7 TB de arquivos existentes, mas pelo menos está lendo a 1,2 GB / min.

Até agora, este é o único comando que oferece gratificação instantânea.

Atualização: interrompida novamente, de alguma forma, mesmo com nohup ..

Tentativa 7: harakiri

Ainda debatendo este

Tentativa 8: 'mesclar' com script com mv

O diretório de destino tinha cerca de 120 mil diretórios vazios, então eu corri

/home/data2/repo> find . -type d -empty -exec rmdir {} \;

Script Ruby:

SRC  = "/home/data/repo"
DEST = "/home/data2/repo"

`ls #{SRC}  --color=never > lst1.tmp`
`ls #{DEST} --color=never > lst2.tmp`
`diff lst1.tmp lst2.tmp | grep '<' > /home/data/missing.tmp`

t = `cat /home/data/missing.tmp | wc -l`.to_i
puts "Todo: #{t}"

# Manually `mv` each missing directory
File.open('missing.tmp').each do |line|
  dir = line.strip.gsub('< ', '')
  puts `mv #{SRC}/#{dir} #{DEST}/`
end

FEITO.

Já ouviu falar em dividir grandes tarefas em tarefas menores?

/ home / data / repo contém 1 milhão de diretórios, cada um contendo 11 diretórios e 10 arquivos. Totaliza 2 TB.

rsync -a /source/1/ /destination/1/
rsync -a /source/2/ /destination/2/
rsync -a /source/3/ /destination/3/
rsync -a /source/4/ /destination/4/
rsync -a /source/5/ /destination/5/
rsync -a /source/6/ /destination/6/
rsync -a /source/7/ /destination/7/
rsync -a /source/8/ /destination/8/
rsync -a /source/9/ /destination/9/
rsync -a /source/10/ /destination/10/
rsync -a /source/11/ /destination/11/

(...)

Hora do café.

Isto é o que está acontecendo:

• Inicialmente, o rsync criará a lista de arquivos.
• A criação desta lista é realmente lenta, devido a uma classificação inicial da lista de arquivos.
• Isso pode ser evitado usando ls -f -1 e combinando-o com xargs para criar o conjunto de arquivos que o rsync usará ou redirecionar a saída para um arquivo com a lista de arquivos.
• Passar esta lista para o rsync em vez da pasta fará com que o rsync comece a funcionar imediatamente.
• Esse truque de ls -f -1 em pastas com milhões de arquivos é perfeitamente descrito neste artigo: http://unixetc.co.uk/2012/05/20/large-directory-causes-ls-to-hang/

Mesmo se o rsync for lento (por que é lento? Talvez -z ajudará), parece que você passou muito disso, então você pode continuar tentando:

Se você usou --remove-source-files, poderá fazer o acompanhamento removendo os diretórios vazios. --remove-source-files removerá todos os arquivos, mas deixará os diretórios lá.

Apenas certifique-se de NÃO usar --remove-source-files com --delete para fazer várias passagens.

Também para aumentar a velocidade, você pode usar --inplace

Se você for expulso porque está tentando fazer isso remotamente em um servidor, vá em frente e execute isso dentro de uma sessão de 'tela'. Pelo menos assim, você pode deixá-lo funcionar.