Como grep recursivamente através de arquivos .gz?

Estou usando um script para baixar regularmente minhas mensagens do Gmail que compactam o arquivo .eml bruto em arquivos .gz. O script cria uma pasta para cada dia e, em seguida, compacta todas as mensagens em seu próprio arquivo.

Eu gostaria de uma maneira de pesquisar neste arquivo por uma "string".

Grep sozinho não parece fazê-lo. Eu também tentei o SearchMonkey.

Se você deseja grep recursivamente em todos os arquivos .eml.gz no diretório atual, você pode usar:

find . -name \*.eml.gz -print0 | xargs -0 zgrep "STRING"

Você precisa escapar do primeiro *para que o shell não o interprete. -print0diz ao find para imprimir um caractere nulo após cada arquivo encontrado; xargs -0lê da entrada padrão e executa o comando após cada arquivo; zgrepfunciona como grep, mas descompacta o arquivo primeiro.

Há muita confusão aqui, porque não há apenas uma zgrep. Eu tenho duas versões no meu sistema, zgrepde gzipe zgreppara zutils. O primeiro é apenas um script de invólucro que chama gzip -cdfq. Não suporta o -r, --recursiveswitch. ¹
O último é um c++programa e suporta a -r, --recursiveopção.
A execução zgrep --version | head -n 1revelará qual deles (se houver) é o padrão:

zgrep (gzip) 1.6

é o script do wrapper,

zgrep (zutils) 1.3

é o cppexecutável.
Se você tiver o último, poderá executar:

zgrep 'pattern' -r --format=gz /path/to/dir

De qualquer forma, como sugerido, o find+ zgrepfuncionará igualmente bem com qualquer uma das versões de zgrep:

find /path/to/dir -name '*.gz' -exec zgrep -- 'pattern' {} +

Se zgrepestiver ausente do seu sistema (altamente improvável), você pode tentar:

find /path/to/dir -name '*.gz' -exec sh -c 'gzip -cd "$0" | grep -- "pattern"' {} \;

mas há uma grande desvantagem: você não saberá onde estão as correspondências, pois não há um nome de arquivo anexado às linhas correspondentes.

^{1: porque seria problemático}

agé uma variante do grep, com alguns recursos extras agradáveis.

• possui a opção -z para arquivos compactados,
• tem muitos recursos de reconhecimento.
• isso é rápido

Assim:

ag -r -z your-pattern-goes-here   folder

Se não estiver instalado,

apt-get install silversearcher-ag   (debian and friends)
yum install the_silver_searcher     (fedora)
brew install the_silver_searcher    (mac)

A recursão sozinha é fácil:

   -r, --recursive
          Read all files  under  each  directory,  recursively,  following
          symbolic  links  only  if they are on the command line.  This is
          equivalent to the -d recurse option.

   -R, --dereference-recursive
          Read all files under each directory,  recursively.   Follow  all
          symbolic links, unlike -r.

No entanto, para arquivos compactados, você precisa de algo como:

shopt globstar 
for file in /path/to/directory/**/*gz; do zcat ""$file" | grep pattern; done

path/to/directory deve ser o diretório pai que contém os subdiretórios para cada dia.

zgrepé a resposta óbvia, mas, infelizmente, não suporta a -rbandeira. De man zgrep:

Essas opções de grep farão com que o zgrep termine com um código de erro: (- [d rR zZ ] | --di * | --exc * | --inc * | --rec * | --nu *).

Se o seu sistema possui o zgrep, você pode simplesmente

zgrep -irs your-pattern-goes-here the-folder-to-search-goes-here/

Se o seu sistema não possui zgrep, você pode usar o comando find para executar o zcat e o grep em cada arquivo da seguinte maneira:

find the-folder-to-search-goes-here/ -name '*.gz' \ -exec sh -c 'echo "Searching {}" ; zcat "{}" | grep your-pattern-goes-here ' \;

xzgrep -l "string" ./*/*.eml.gz

xzgrep é um derivado dos utilitários do zgrep (menos / bin / xzgrep)

Na página Man:

O xzgrep chama grep (1) em arquivos que podem ser descompactados ou compactados com xz (1), lzma (1), gzip (1), bzip2 (1) ou lzop (1). Todas as opções especificadas são passadas diretamente para grep (1).

-l imprime o nome do arquivo correspondente

-R para recursão não funcionará, pois é especificamente proibido no script, no entanto, simples globbing de shell deve nos levar até lá

./*/*.eml.gz

a partir de um caminho relativo em que ./today/sample.eml.gz, corresponda em todas as instâncias desse nível um abaixo da nossa posição relativa no shell, que termina com ".eml.gz"