O que faz o grep considerar um arquivo como binário?

Eu tenho alguns despejos de banco de dados de um sistema Windows na minha caixa. Eles são arquivos de texto. Estou usando o cygwin para cumprimentá-los. Estes parecem ser arquivos de texto simples; Abro-os com editores de texto, como o bloco de notas e o wordpad, e eles parecem legíveis. No entanto, quando eu executo grep, eles dirão binary file foo.txt matches.

Percebi que os arquivos contêm alguns NULcaracteres ASCII , que acredito serem artefatos do despejo de banco de dados.

Então, o que faz o grep considerar esses arquivos como binários? O NULpersonagem? Existe uma bandeira no sistema de arquivos? O que preciso alterar para que o grep me mostre as correspondências da linha?

Se houver um NULcaractere em qualquer lugar do arquivo, o grep o considerará um arquivo binário.

Pode haver uma solução alternativa como essa cat file | tr -d '\000' | yourgreppara eliminar todos os nulos primeiro e depois pesquisar no arquivo.

grep -a trabalhou para mim:

$ grep --help
[...]
 -a, --text                equivalent to --binary-files=text

Você pode usar o stringsutilitário para extrair o conteúdo de texto de qualquer arquivo e depois canalizá-lo através de grep, como este: strings file | grep pattern.

GNU grep 2.24 RTFS

Conclusão: 2 e 2 casos apenas:

• NUL, por exemplo printf 'a\0' | grep 'a'

• erro de codificação de acordo com o C99 mbrlen(), por exemplo:

  export LC_CTYPE='en_US.UTF-8'
  printf 'a\x80' | grep 'a'
  

  porque \x80não pode ser o primeiro byte de um ponto Unicode UTF-8 : UTF-8 - Descrição | en.wikipedia.org

Além disso, como mencionado por Stéphane Chazelas O que faz o grep considerar um arquivo como binário? | Unix e Linux Stack Exchange , essas verificações são feitas apenas até a primeira leitura do buffer com o comprimento TODO.

Somente até a primeira leitura do buffer

Portanto, se ocorrer um erro de codificação ou NUL no meio de um arquivo muito grande, ele poderá ser recebido de qualquer maneira.

Eu imagino que isso seja por razões de desempenho.

Por exemplo: isso imprime a linha:

printf '%10000000s\n\x80a' | grep 'a'

mas isso não:

printf '%10s\n\x80a' | grep 'a'

O tamanho real do buffer depende de como o arquivo é lido. Por exemplo, compare:

export LC_CTYPE='en_US.UTF-8'
(printf '\n\x80a') | grep 'a'
(printf '\n'; sleep 1; printf '\x80a') | grep 'a'

Com o sleep, a primeira linha é passada para o grep, mesmo que tenha apenas 1 byte, porque o processo entra no modo de espera ea segunda leitura não verifica se o arquivo é binário.

RTFS

git clone git://git.savannah.gnu.org/grep.git 
cd grep
git checkout v2.24

Localize onde a mensagem de erro stderr está codificada:

git grep 'Binary file'

Nos leva a /src/grep.c:

if (!out_quiet && (encoding_error_output
                    || (0 <= nlines_first_null && nlines_first_null < nlines)))
    {
    printf (_("Binary file %s matches\n"), filename);

Se essas variáveis ​​foram bem nomeadas, chegamos basicamente à conclusão.

encoding_error_output

O grepping rápido para encoding_error_outputmostra que o único caminho de código que pode modificá-lo passa por buf_has_encoding_errors:

clen = mbrlen (p, buf + size - p, &mbs);
if ((size_t) -2 <= clen)
  return true;

então apenas man mbrlen.

nlines_first_null e nlines

Inicializado como:

intmax_t nlines_first_null = -1;
nlines = 0;

portanto, quando um nulo é encontrado, 0 <= nlines_first_nulltorna-se verdadeiro.

TODO quando pode nlines_first_null < nlinesser falso? Eu fiquei com preguiça

POSIX

Não define opções binárias grep - pesquisa um padrão em um arquivo | pubs.opengroup.org e GNU grep não o documentam, então o RTFS é a única maneira.

Um dos meus arquivos de texto foi subitamente visto como binário pelo grep:

$ file foo.txt
foo.txt: ISO-8859 text

A solução foi convertê-lo usando iconv:

iconv -t UTF-8 -f ISO-8859-1 foo.txt > foo_new.txt

O arquivo /etc/magicou /usr/share/misc/magicpossui uma lista de sequências que o comando fileusa para determinar o tipo de arquivo.

Observe que o binário pode ser apenas uma solução alternativa. Às vezes, arquivos com codificação estranha também são considerados binários.

grepno Linux tem algumas opções para lidar com arquivos binários como --binary-filesou-U / --binary

Um dos meus alunos teve esse problema. Há um erro grepno Cygwin. Se o arquivo tiver caracteres não-Ascii, grepe egrepveja-o como binário.

Na verdade, respondendo à pergunta "O que faz o grep considerar um arquivo como binário?", Você pode usar iconv:

$ iconv < myfile.java
iconv: (stdin):267:70: cannot convert

No meu caso, havia caracteres em espanhol que apareciam corretamente nos editores de texto, mas o grep os considerava binários; iconvsaída me apontou para os números de linha e coluna desses caracteres

No caso de NULcaracteres, iconvconsiderá-los-á normais e não imprimirá esse tipo de saída, portanto esse método não é adequado

Eu tive o mesmo problema. Eu costumava vi -b [filename]ver os caracteres adicionados. Eu encontrei os caracteres de controle ^@e ^M. Em seguida, no tipo vi, :1,$s/^@//gpara remover os ^@caracteres. Repita este comando para ^M.

Aviso: Para obter os caracteres de controle "azuis", pressione Ctrl+ ve Ctrl+ Mou Ctrl+ @. Em seguida, salve e saia do vi.