Como você limita a largura de banda para uma cópia de arquivo?

13

Eu tenho uma caixa antiga do Windows 2000 em um local remoto com uma conexão T1 e um VPN na minha localização. Eu normalmente uso montagens smb para transferir arquivos, mas agora é hora de encerrar o servidor e copiar seus backups para o meu local. Eu tenho cerca de 40 gigabytes (compactados) para copiar. Estou preparado para levar muito tempo, mas tenho algumas ressalvas.

  • Preciso limitar a largura de banda para que as conexões do serviço de terminal ao site não sejam afetadas
  • Quero poder retomar uma transferência parcial

Existem alguns arquivos pequenos e vários arquivos grandes (10 a 20 gigabytes). Estou familiarizado com o rsync nas plataformas * nix, mas tive azar com o Windows e não sei se ele realmente manterá os arquivos parcialmente transferidos. O que você usa?

reconectar
fonte
1
Robocopy parece ser uma boa solução, vou ter que tentar em breve. Atualmente, estou 53,7% em um torrent privado. Eu escolhi o uTorrent em vez da robocópia por causa do agendador que me permitirá transferir ilimitadas fora do horário comercial e com um limite decente quando for necessário. Checksumming também não dói. Acabei usando as instruções de Jeff codinghorror.com/blog/archives/001272.html, embora tenha certeza de que gostaria de ter mais controle sobre um torrent público.
reconbota 28/07/09

Respostas:

19

robocopy.exepossui um comutador chamado intervalo entre pacotes , permitindo inserir uma janela de tempo entre os pacotes da sua cópia e, assim, reduzir o impacto no canal.

Não é exatamente "use no máximo 30% da largura de banda disponível", mas você pode obter o mesmo efeito com um pouco de matemática. Você sempre pode especificar um número de milissegundos e deixá-lo funcionar por um tempo; depois, CTRL+Cpara interromper, ajustar seu comando conforme necessário e continuar. Fiz exatamente isso quando não quis sobrecarregar a WAN durante o dia útil com replicações em massa.

O robocopy possui outro comutador que /zpermite transferências "retomadas"; portanto, se a transferência for interrompida, você poderá continuar de onde parou e não precisará mudar os 40 GB inteiros novamente.

Não tenho certeza de quão granular é o bit de currículo, porque nunca testei, por exemplo, um único arquivo ZIP de 40 GB. Teste algo menor primeiro ;-)

Existem algumas boas GUIs para robocopy que podem ajudar com a sintaxe, mas qualquer pessoa com experiência em Linux o grok facilmente. Pegue as versões mais recentes de uma cópia do Windows 2003 ou posterior. Caso contrário, você o encontrará como um download da Ferramenta do Windows 2000 Resource Kit Tool.

Na entrada da Wikipedia para robocópia , alguém observou que a penalidade pela cópia reinicializável (a /zopção) é um desempenho 6x mais lento (consulte Falhas conhecidas ).

nray
fonte
Você está fazendo errado - a robocópia é uma ferramenta de escolha há anos, testada em várias redes diferentes. O "robo" deve significar "robusto".
Nray 27/07/2009
+! para Robocopy. Usou-o várias vezes como este e nunca teve um problema.
27909 KPWINC
+1 para uma ferramenta bem conhecida e usada. Por mais estranho que pareça, às vezes é mais fácil colocar a robocopy em um arquivo em lotes (ick) e fazer cópias repetidas dessa maneira por meio de Tarefas do sistema.
Avery Payne
1
Na minha LAN local, descobri que um valor IPG de 50 ms me reduzia a cerca de 10Mbit / s, que era o valor desejado.
trp
Além disso, descobri que praticamente não conseguia obter maior taxa de transferência com valores de IPG inferiores a cerca de 25ms.
22412 trp
5

40 GB de arquivos levarão mais de 60 horas para serem copiados em um T-1. Pode ser mais fácil enviar um disco rígido externo em ambas as direções. Você pode fazer com que alguém o conecte ao servidor, copie / criptografe seus arquivos e faça com que eles os enviem de volta para você.

Carl C
fonte
parece cerca de 60 horas, de acordo com minha matemática: 40 GB * 1024 (MB / GB) * 8 (bit / byte) / 1,5mbit / 3600 (seg / hora) = ~ 60 horas. É claro que provavelmente haverá despesas gerais e outras coisas, então levará um pouco mais de tempo, então digamos que 70 ou 80 estejam em segurança? Mas o 1.5mbit é bem lento, mesmo um PC realmente antigo não deve ter problemas para alimentar dados nesse ritmo.
davr 27/07/09
2
"Nunca subestime a largura de banda de uma caminhonete cheia de fitas rolando pela estrada." - Tanenbaum, Andrew S. (1996)
nray 27/07/2009
2
O utilitário de discos rígidos sobressalentes está perdido no meu escritório. Eu não me importo de esperar.
reconbota 28/07/09
Atualmente, o 40GiB não é tão grande para um título AAA. Você ainda não tem FTTH ?! Você teria terminado o download do steam antes de voltar da melhor compra (para não mencionar a sugação do patch de 25GiB no primeiro dia).
Mbx #
Hoje em dia quando? 2016? Você sabia que esse post foi feito em 2009?
23417 JasonXA
4

Você pode tentar configurar o FTP na caixa 2000 e usar um cliente FTP na outra extremidade, como o filezilla, para lidar com cópias parciais.

DanBig
fonte
+1 Para mencionar os limites de largura de banda disponíveis no Filezilla não faria mal.
Oskar Duveborn
3

Você diz que usou o rsync no * nix, existem várias portas do rsync para o Windows em que você pode pesquisar. Por exemplo:

Pessoalmente, achei o rsync bastante confiável e pode lidar com interrupções no meio de transferências e assim por diante. O Rsync também possui um sinalizador para limitar as transferências a uma velocidade exata de transferência de kbit / s, de modo que parece funcionar também para você.

davr
fonte
1

Eu uso o Robocopy para fazer backup de todos os meus servidores, bem como um backup ativo do Mailserver. Uma vez configurado corretamente, é realmente configurado e esquecido. A melhor coisa que já aconteceu na minha vida de TI. Apenas colocando meus 32 centavos (permitindo a inflação)


fonte
1

Eu uso o KillCopy para esse fim. Acho muito conveniente.
Possui velocidade separada e outros perfis de configurações para cópia local e de rede.
Também é possível retomar quando uma transferência de um arquivo grande (ou arquivos) é interrompida em caso de conexão incorreta ou mesmo quando o computador que hospeda o programa falha.

Roland Pihlakas
fonte