Carregue vários arquivos de forma simultânea com cURL

1

Estou procurando baixar vários arquivos de um servidor usando cURL do Terminal em um Mac. Sei que, usando o operador {}, posso carregar um arquivo após o outro, mas pretendo fazer o download de todos (10) deles usando várias conexões ao mesmo tempo. Existe uma maneira de fazer isso (nota: não usando PHP, que parece ter várias respostas aqui)?

Arpit
fonte
Sinalizado para realocação para o site superusuário.
Ewindisch

Respostas:

2

Você pode fazer isso no seu shell:

cat <<URLS | xargs -P5 -n1 curl -O
http://www.example.com/
http://www.example.net/
ftp://ftp.example.org/
URLS

Isso fará o download de um arquivo por processo de curvatura, com um máximo de 5 trabalhadores / processos de curvatura simultâneos.

Observe que, com xargs, ele separará a entrada por espaços e novas linhas. Como seus URLs não devem conter espaços (ou devem tê-los codificados), isso não deve ser muito significativo.

ewindisch
fonte