Como fazer o grep em um arquivo de texto que contém alguns dados binários?

grep retorna

Arquivo binário test.log corresponde

Por exemplo

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Desejo que o resultado mostre a linha 1 e a linha 3 (total de duas linhas).

É possível trconverter os dados não imprimíveis em dados legíveis, para deixar o grep funcionar novamente?

Você pode executar o arquivo de dados cat -v, por exemplo

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

que poderia ser posteriormente pós-processado para remover o lixo; isso é mais análogo à sua consulta sobre o uso trpara a tarefa.

grep -a

Não pode ser mais simples do que isso.

Uma maneira é simplesmente tratar os arquivos binários como texto de qualquer maneira, com grep --textmas isso pode muito bem resultar no envio de informações binárias ao seu terminal. Isso não é realmente uma boa ideia se você estiver executando um terminal que interpreta o fluxo de saída (como VT / DEC ou muitos outros).

Como alternativa, você pode enviar seu arquivo trcom o seguinte comando:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Isso mudará qualquer coisa menor que um caractere de espaço (exceto nova linha) e qualquer coisa maior que 126 em um .caractere, deixando apenas os imprimíveis.

Se quiser que cada caractere "ilegal" seja substituído por um diferente, você pode usar algo como o seguinte programa C, um filtro de entrada padrão clássico:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

Isso lhe dará {{NN}}, onde NNestá o código hexadecimal para o personagem. Você pode simplesmente ajustar o printfpara qualquer estilo de saída que desejar.

Você pode ver esse programa em ação aqui, onde:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Você pode usar "strings" para extrair strings de um arquivo binário, por exemplo

strings binary.file | grep foo

Você pode forçar o grep a olhar os arquivos binários com:

grep --binary-files=text

Você também pode querer adicionar -o( --only-matching) para não obter toneladas de jargões binários que irão danificar seu terminal.

A partir do Grep 2.21, os arquivos binários são tratados de forma diferente :

Ao pesquisar dados binários, grep agora pode tratar bytes não textuais como terminadores de linha. Isso pode aumentar o desempenho significativamente.

Então, o que acontece agora é que, com dados binários, todos os bytes não textuais (incluindo novas linhas) são tratados como terminadores de linha. Se quiser mudar esse comportamento, você pode:

• usar --text. Isso irá garantir que apenas novas linhas sejam terminadores de linha

• usar --null-data. Isso irá garantir que apenas bytes nulos sejam terminadores de linha

grep -a forçará o grep a pesquisar e gerar a saída de um arquivo que o grep pensa ser binário. grep -a re test.log

Como James Selvakumar já disse, grep -afaz o truque. -a ou --text força Grep a tratar o fluxo de entrada como texto. Consulte a página de manual http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

experimentar

cat test.log | grep -a somestring

você pode fazer

strings test.log | grep -i

isso converterá a saída em uma string legível para grep.

Você também pode experimentar a ferramenta Word Extractor . O Word Extractor pode ser usado com qualquer arquivo em seu computador para separar as strings que contêm texto / palavras humanas do código binário (aplicativos exe, DLLs).

Aqui está o que usei em um sistema que não tinha o comando "strings" instalado

cat yourfilename | tr -cd "[:print:]"

Isso imprime o texto e remove caracteres não imprimíveis de uma só vez, ao contrário de "cat -v filename" que requer algum pós-processamento para remover coisas indesejadas. Observe que alguns dos dados binários podem ser impressos, portanto, você ainda obterá alguma confusão entre as coisas boas. Eu acho que strings remove esse jargão também se você pode usar isso.