Como distribuir arquivos torrent?

15

Estou fazendo um trabalho distribuído com servidores em nuvem RackSpace e estou usando o bittorrent para distribuir meus arquivos. Funciona surpreendentemente bem. No entanto, distribuir os arquivos torrent em si não é tão bom. Como você sairia por aí fazendo isso? No momento, apenas scp os arquivos torrent para os servidores e, é claro, eu poderia escrever um script que os copie para os sqrt(n)servidores, instruindo cada um a copiar novamente, sqrt(n)mas é uma pena trabalhar nisso.

chx
fonte

Respostas:

23

Não sabendo qual é exatamente o seu problema, posso recomendar pscpdo ssh-paralelo como uma ferramenta para fazer upload de arquivos pequenos em vários servidores.

Você prepara uma lista de servidores para upload e informa sobre o que levar no local e onde colocá-lo remotamente. Por exemplo:

$ pscp -h list-of-servers file.torrent /tmp/
[1] 02:11:22 [SUCCESS] 10.0.0.21
[2] 02:11:22 [SUCCESS] 10.0.0.20
[3] 02:11:22 [SUCCESS] 10.0.0.45
[4] 02:11:22 [SUCCESS] 10.0.0.19
[5] 02:11:22 [SUCCESS] 10.0.0.2
[6] 02:11:22 [SUCCESS] 10.0.0.5
[7] 02:11:25 [FAILURE] 10.0.0.3 Exited with error code 1
chutz
fonte
1
Também há code.google.com/p/pdsh
chx 31/10/12
15

Dado que eles são arquivos muito pequenos, normalmente você não poderia simplesmente ter uma 'caixa de depósito' usando HTTP com um script cron'ed fazendo um curl / wget com curinga?

Chopper3
fonte
2
Este é o método que eu usaria, não há necessidade de empurrar um arquivo para cada servidor e manter uma lista de servidores, tê-los periodicamente verificar se há novo arquivo .torrent
jwbensley
2
você também pode usar Puppet para fazer isso
Noah Yetter
8

Você pode fazer com que os clientes de torrent verifiquem um feed RSS para novos arquivos torrent ou alternem para links magnéticos em vez de arquivos torrent.

chewbakka
fonte
O RSS pode não ser uma opção se ele / ela estiver usando um cliente torrent de linha de comando básico.
21712 Hengjie
Ele poderia você Flexget com rtorrent sem gui
chewbakka
Yep, flexget e rtorrent iria funcionar bem para isso
Grant
+1 "alterna para links magnéticos em vez de arquivos torrent".
michael
2

Você pode querer investigar um assassinato

Murder é um método de usar o Bittorrent para distribuir arquivos para uma grande quantidade de servidores em um ambiente de produção. Isso permite implantações escalonáveis ​​e rápidas em ambientes de centenas a dezenas de milhares de servidores nos quais os sistemas de distribuição centralizada não funcionariam de outra maneira

.

O assassinato foi / é desenvolvido pelo pessoal do twitter e eles o usam diariamente para distribuir arquivos.

Jens Timmerman
fonte
o projeto não é mais mantido.
chovy 30/08/19