Por que o cURL retorna o erro "(23) Falha ao escrever o corpo"?

Funciona bem como uma única ferramenta:

curl "someURL"
curl -o - "someURL"

mas não funciona em um pipeline:

curl "someURL" | tr -d '\n'
curl -o - "someURL" | tr -d '\n'

retorna:

(23) Failed writing body

Qual é o problema de canalizar a saída cURL? Como armazenar em buffer toda a saída cURL e depois lidar com isso?

Isso acontece quando um programa canalizado (por exemplo, grep) fecha o canal de leitura antes que o programa anterior termine de escrever a página inteira.

Em curl "url" | grep -qs foo, assim que o grep tiver o que deseja, ele fechará o fluxo de leitura de curl. O cURL não espera isso e emite o erro "Falha na gravação do corpo".

Uma solução alternativa é canalizar o fluxo por meio de um programa intermediário que sempre lê a página inteira antes de enviá-la para o próximo programa.

Por exemplo

curl "url" | tac | tac | grep -qs foo

tacé um programa Unix simples que lê toda a página de entrada e inverte a ordem das linhas (portanto, executamos duas vezes). Como ele precisa ler toda a entrada para encontrar a última linha, ele não produzirá nada para grep até que cURL seja concluído. O Grep ainda fechará o fluxo de leitura quando tiver o que está procurando, mas afetará apenas o tac, que não emite um erro.

Para pesquisas completas e futuras:

É uma questão de como o cURL gerencia o buffer, o buffer desativa o fluxo de saída com a opção -N.

Exemplo: curl -s -N "URL" | grep -q Welcome

Outra possibilidade, se usar o -o (arquivo de saída) - o diretório de destino não existe.

por exemplo. se você possui -o /tmp/download/abc.txte / tmp / download não existe.

Portanto, verifique se todos os diretórios necessários foram criados / existentes com antecedência, use a --create-dirsopção e - ose necessário

Portanto, era um problema de codificação. Iconv resolve o problema

curl 'http://www.multitran.ru/c/m.exe?CL=1&s=hello&l1=1' | iconv -f windows-1251 | tr -dc '[:print:]' | ...

Você pode fazer isso em vez de usar a -oopção:

curl [url] > [file]

Eu tive o mesmo erro, mas por outro motivo. No meu caso, eu tinha a partição (tmpfs) com apenas 1 GB de espaço e estava baixando um arquivo grande que finalmente preencheu toda a memória dessa partição e obtive o mesmo erro que você.

O servidor ficou sem espaço em disco, no meu caso.

Verifique com df -k .

Fui alertado sobre a falta de espaço em disco quando tentei passar por tacduas vezes, conforme descrito em uma das outras respostas: https://stackoverflow.com/a/28879552/336694 . Ele me mostrou a mensagem de erro write error: No space left on device.

Encontrei essa mensagem de erro ao tentar instalar o cache de verniz no ubuntu. A pesquisa no google me levou aqui para o erro (23) Failed writing body, postando uma solução que funcionou para mim.

O erro é encontrado ao executar o comando como root curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

a solução é executar apt-key addcomo não raiz

curl -L https://packagecloud.io/varnishcache/varnish5/gpgkey | apt-key add -

Se você está tentando algo semelhante source <( curl -sS $url )e obtendo o (23) Failed writing bodyerro, é porque a aquisição de uma substituição de processo não funciona embash 3.2 (o padrão para o macOS).

Em vez disso, você pode usar esta solução alternativa.

source /dev/stdin <<<"$( curl -sS $url )"

Para mim, era questão de permissão. A execução do Docker é chamada com um perfil de usuário, mas root é o usuário dentro do contêiner. A solução foi fazer a gravação curl em / tmp, pois ela tem permissão de gravação para todos os usuários, não apenas para raiz.

Eu usei a opção -o.

-o / tmp / file_to_download

No Bash e no zsh (e talvez em outros shells), você pode usar a substituição de processo ( Bash / zsh ) para criar um arquivo rapidamente e, em seguida, usá-lo como entrada para o próximo processo na cadeia de pipeline.

Por exemplo, eu estava tentando analisar a saída JSON do cURL usando jqe less, mas estava obtendo o Failed writing bodyerro.

# Note: this does NOT work
curl https://gitlab.com/api/v4/projects/ | jq | less

Quando eu o reescrevi usando substituição de processo, funcionou!

# this works!
jq "" <(curl https://gitlab.com/api/v4/projects/) | less

Nota: jqusa seu segundo argumento para especificar um arquivo de entrada

Bônus: Se você estiver usando jqcomo eu e quer manter a saída colorizado em less, use a seguinte linha de comando em vez disso:

jq -C "" <(curl https://gitlab.com/api/v4/projects/) | less -r

(Obrigado a Kowaru pela explicação sobre o motivo da Failed writing body ocorrência. No entanto, a solução de usar tacduas vezes não funcionou para mim. Eu também queria encontrar uma solução que fosse melhor dimensionada para arquivos grandes e tente evitar os outros problemas mencionados como comentários. para essa resposta.)