Lista de argumentos muito longa para ls

Eu recebo o seguinte erro ao tentar ls *.txt | wc -lum diretório que contém muitos arquivos:

-bash: /bin/ls: Argument list too long

O limite dessa "lista de argumentos" depende da distribuição ou das especificações do computador? Normalmente, eu canalizaria o resultado de um resultado tão grande para outros comandos ( wc -lpor exemplo), então não estou preocupado com os limites do terminal.

A lista de argumentos da mensagem de erro muito longa vem do * de ls *.txt.

Este limite é uma segurança para os programas binários e para o seu Kernel. Você verá nesta página mais informações sobre ele e como ele é usado e calculado.

Não existe esse limite no tamanho do tubo. Então você pode simplesmente emitir este comando:

find -type f -name '*.txt'  | wc -l

Nota: No Linux moderno, caracteres estranhos em nomes de arquivos (como novas linhas) serão escapados com ferramentas como lsou find, mas ainda serão exibidos em * . Se você estiver em um Unix antigo, precisará deste comando

find -type f -name '*.txt' -exec echo \;  | wc -l

NB2: Eu queria saber como é possível criar um arquivo com uma nova linha em seu nome. Não é tão difícil assim que você conhece o truque:

touch "hello
world"

Depende principalmente da sua versão do kernel do Linux.

Você poderá ver o limite do seu sistema executando

getconf ARG_MAX

que informa o número máximo de bytes que uma linha de comando pode ter após ser expandida pelo shell.

No Linux <2.6.23, o limite geralmente é de 128 KB.

No Linux> = 2.6.25, o limite é de 128 KB ou 1/4 do tamanho da pilha (consulte ulimit -s), o que for maior.

Veja a página de manual execve (2) para todos os detalhes.

Infelizmente, a tubulação ls *.txtnão vai resolver o problema, porque o limite está no sistema operacional, não no shell.

O shell expande o *.txte tenta chamar

exec("ls", "a.txt", "b.txt", ...)

e você tem tantos arquivos correspondentes *.txtque está excedendo o limite de 128 KB.

Você terá que fazer algo como

find . -maxdepth 1 -name "*.txt" | wc -l

em vez de.

(E veja os comentários de Shawn J. Goff abaixo sobre nomes de arquivos que contêm novas linhas.)

Outra solução alternativa:

ls | grep -c '\.txt$'

Mesmo que lsproduza mais saída do que ls *.txtproduz (ou tente produzir), ele não se depara com o problema "argumento muito longo", porque você não está passando nenhum argumento para ls. Observe que grepusa uma expressão regular em vez de um padrão de correspondência de arquivo.

Você pode querer usar:

ls -U | grep -c '\.txt$'

(supondo que sua versão do lssuporte esta opção). Isso diz lspara não classificar sua saída, o que poderia economizar tempo e memória - e, nesse caso, a ordem não importa, já que você está apenas contando arquivos. Os recursos gastos na classificação da saída geralmente não são significativos, mas nesse caso já sabemos que você tem um número muito grande de *.txtarquivos.

E você deve reorganizar seus arquivos para não ter tantos em um único diretório. Isso pode ou não ser viável.

MAX_ARG_PAGES parece ser um parâmetro do kernel. Usar finde xargsé uma combinação típica para abordar esse limite, mas não tenho certeza de que funcione wc.

Canalizar a saída de find . -name \*\.txtum arquivo e contar as linhas nesse arquivo deve servir como uma solução alternativa.

Isso pode estar sujo, mas funciona para as minhas necessidades e dentro da minha competência. Eu não acho que ele tenha um desempenho muito rápido, mas me permitiu continuar meu dia.

ls | grep jpg | <something>

Eu estava recebendo uma lista longa de 90.000 jpgs e os canalizava para avconv para gerar um intervalo de tempo.

Eu estava usando ls * .jpg | avconv antes de me deparar com esta questão.