A maneira mais rápida de mover um grande número de arquivos?

Eu tenho que mover cerca de 320.000 arquivos, 80.000 pastas (apenas 100 Gb) de dados. Alguns arquivos têm mais de 1 GB, mas a maioria tem menos de 1 KB.

Eu tive uma olhada método mais rápido de copiar os arquivos , mas não tenho certeza o quão útil qualquer um destes será, meu problema não é sobre velocidades de taxa de transferência pura, mas realmente sobre a rapidez com que o Windows pode lidar com o IO de 320.000 arquivos.

Você acha que vou ver os benefícios da velocidade usando xcopy, robocopy, teracopy ou fastcopy?

Demoramos muito tempo (12 horas +) para copiá-los uma vez (usando robocopy), e eu odeio ter que fazer isso novamente. O que posso fazer para acelerar?

O material está em uma unidade externa USB 2.0.

Algo como robocopy será sua melhor aposta. As unidades USB não podem lidar com muito IO, para começar.

Enviei milhões de arquivos pequenos de e para unidades USB usando robocopy. Leva tempo, mas faz o trabalho.

Como disse Mrdenny, o Robocopy seria o melhor, em parte devido à sua robustez. O melhor conselho que posso oferecer, desde que você tenha certeza da limpeza dos arquivos a serem movidos, é garantir que o software antivírus esteja desativado enquanto eles estão sendo movidos. Você realmente não quer a sobrecarga de ter todos esses arquivos sendo verificados.

Obviamente, existe uma maneira mais rápida do que todas as mencionadas aqui. Mais rápido, mas menos flexível :-) Se você colocou os arquivos em uma partição separada, poderá copiar a partição inteira no disco de destino.

Não estou familiarizado com nenhuma ferramenta gratuita do Windows para o trabalho (a ferramenta com suporte ao VSS seria perfeita), mas com certeza você pode inicializar o Ghost CD ou o Partition Magic CD ou inicializar um CD independente do Linux. No linux, você apenas dda partição, ou ntfsclonese isso for uma partição NTFS.

Se eu fosse você, mudaria o disco rígido externo para um Firewire, a transferência de velocidade é muito mais rápida que o USB2.

Eu acho que talvez empacotar os arquivos em um único "tar" e depois transferi-los economizasse um pouco de tempo. Porque reduz o tempo de E / S, já que você copia apenas 1 arquivo gigante, comparado a milhares de arquivos, também consome menos recursos, acredito (durante a fase de cópia). Ou você pode canalizar o fluxo de alcatrão diretamente para o seu drive USB.

Descobri que a maneira mais eficiente de copiar um grande número de arquivos era transmiti-los primeiro para arquivos ISO e depois copiar os ISOs. Dessa forma, o disco não se preocupa em emitir os milhares de comandos necessários para copiar arquivos.

Claro que isso depende da sua estrutura de diretórios. Tive a sorte de criar um novo diretório em intervalos de 4,7 GB, o que facilitou a criação de um VBScript para automatizar o processo.

Você certamente experimentará um desempenho geral melhor para a sequência de transferência se primeiro compactar os arquivos de origem em um único arquivo (tar ou compactado em zip, etc.), depois transferir o arquivo pela rede e depois descompactar o arquivo no diretório destino.

Por favor, não esqueça que, ao transferir o arquivo pela rede, será melhor usar ftp (ou outro protocolo de transferência orientado a arquivos) do que uma simples cópia de arquivo SMB.

Usando um processo como o acima, eu transfiro rotineiramente diretórios de aplicativos de cerca de 60 GB (com cerca de 50.000 a 75.000 arquivos) entre vários datacenters separados geograficamente, (EUA, Europa, Ásia). A diferença entre transferir um arquivo de cada vez e transferir um arquivo compactado por FTP é 10 a 40 vezes mais rápido.

O Rsync também pode ser seu amigo aqui (como em muitos outros cenários de transferência de arquivos).

Se você está aberto a opções comerciais, uma solução de streaming binário baseada em UDP que pode enviar bits por vários fluxos UDP pode ser valiosa para você. Dê uma olhada em http://www.filecatalyst.com/

Outra opção seria usar o Bittorrent usando um rastreador embutido ou o DHT ativado. O cliente agruparia todos os arquivos em blocos (use 2 MB ou mais, se disponível). No lado de recebimento, você receberá arquivos em grandes blocos à medida que forem gravados no disco rígido. Isso ajuda a consolidar seus arquivos pequenos em pedaços de 2 MB e você obtém melhores taxas de transferência e