Como grep recursivamente através de arquivos compactados?

Estou tentando descobrir quais módulos use Test::Versionno cpan. Então, eu costumava minicpanespelhar isso. Meu problema é que eu preciso percorrer os arquivos baixados e grep os arquivos que estão nos arquivos. Alguém pode me dizer como eu poderia fazer isso? de preferência de uma maneira que me diga qual arquivo no arquivo e em que linha está.

(nota: eles não são todos tarballs, alguns são arquivos zip)

Ok, vamos aplicar a filosofia unix. Quais são os componentes desta tarefa?

• Pesquisa de texto: você precisa de uma ferramenta para pesquisar texto em um arquivo, como grep.
• Recursiva: você precisa de uma ferramenta para procurar arquivos em uma árvore de diretórios, como find.
• Arquivos: você precisa de uma ferramenta para lê-los.

A maioria dos programas unix opera em arquivos. Portanto, para operar facilmente em componentes de arquivamento, você precisa acessá-los como arquivos, ou seja, é necessário acessá-los como diretórios.

O sistema de arquivos AVFS apresenta uma visão do sistema de arquivos em que cada arquivo /path/to/foo.zipestá acessível como um diretório ~/.avfs/path/to/foo/zip#. O AVFS fornece acesso somente leitura aos formatos de arquivo mais comuns.

mountavfs
find ~/.avfs"$PWD" \( -name '*.zip' -o -name '*.tar.gz' -o -name '*.tgz' \) \
     -exec sh -c '
                  find "$0#" -name "*.pm" -exec grep "$1" {\} +
                 ' {} 'Test::Version' \;
fusermount -u ~/.avfs   # optional

Explicações:

• Monte o sistema de arquivos AVFS.
• Procure por arquivos ~/.avfs$PWDcompactados, que é a visualização AVFS do diretório atual.
• Para cada arquivo morto, execute o snippet de shell especificado (com $0= nome do arquivo e $1= padrão para pesquisar).
• $0#é a visualização do diretório do arquivo morto $0.
• {\}em vez de {}é necessária no caso dos exteriores findsubstitutos {}dentro -exec ;argumentos (alguns o fazem, outros não).
• Opcional: finalmente desmonte o sistema de arquivos AVFS.

Ou em zsh ≥4.3:

mountavfs
grep 'Test::Version' ~/.avfs$PWD/**/*.(tgz|tar.gz|zip)(e\''
     reply=($REPLY\#/**/*.pm(.N))
'\')

Explicações:

• ~/.avfs$PWD/**/*.(tgz|tar.gz|zip) corresponde aos arquivos na visualização AVFS do diretório atual e de seus subdiretórios.
• PATTERN(e\''CODE'\')aplica CODE a cada correspondência de PATTERN. O nome do arquivo correspondente está em $REPLY. Definir a replymatriz transforma a correspondência em uma lista de nomes.
• $REPLY\# é a visualização do diretório do arquivo morto.
• $REPLY\#/**/*.pmcorresponde aos .pmarquivos no arquivo morto.
• O Nqualificador glob faz com que o padrão se expanda para uma lista vazia se não houver correspondência.

Parece que eu posso fazer assim

find authors/ -type f -exec zgrep "Test::Version" '{}' +  

No entanto, isso fornece resultados como:

authors/id/J/JO/JONASBN/Module-Info-File-0.11.tar.gz:Binary file (standard input) matches

o que não é muito específico para onde no tarball. Espero que alguém possa ter uma resposta melhor.

Obrigado pelo desafio, eu vim com:

#!/bin/bash
#

# tarballs to check in
find authors/ -type f | while read tarball; do

    # get list of files in tarball (not dirs ending in /):
    tar tzf $tarball | grep -v '/$' | while read file; do       

        # get contents of file and look for string
        tar -Ozxf conform.tar.gz $file | grep -q 'Text::Version' && echo "Tar ($tarball) has matching File ($file)"

    done

done

Talvez minha resposta seja útil para alguém:

#!/bin/bash

findpath=$(echo $1 | sed -r 's|(.*[^/]$)|\1/|')

# tarballs to check in
find $findpath -type f | while read tarball; do

    # get list of files in tarball (not dirs ending in /):
    if [ -n "$(file --mime-type $tarball | grep -e "application/jar")" ]; then

        jar tf $tarball | grep -v '/$' | while read file; do
            # get contents of file and look for string
            grepout=$(unzip -q -c $tarball $file | grep $3 -e "$2")

            if [ -n "$grepout" ]; then
                echo "*** $tarball has matching file ($file):"
                echo $grepout
            fi

        done

    elif tar -tf $tarball 2>/dev/null; then

        tar -tf $tarball | grep -v '/$' | while read file; do
            # get contents of file and look for string
            grepout=$(unzip -q -c $tarball $file | grep $3 -e "$2")

            if [ -n "$grepout" ]; then
                echo "*** $tarball has matching file ($file):"
                echo $grepout
            fi

        done

    else
        file=""
        grepout=$(grep $3 -e "$2" $tarball)

        if [ -n "$grepout" ]; then
            echo "*** $tarball has matching:"
            echo $grepout
        fi

    fi

done

Após a instalação, p7zip-*você é capaz de fazer isso:

ls | xargs -I {} 7z l {} | grep whatever | less

Você não precisa usar lsantes do primeiro canal, qualquer que seja a lista dos arquivos compactados. A final lessmostrará apenas o CAMINHO da vida útil do listet dentro do arquivo compactado, mas não o nome disso.

Use find para localizar todos os arquivos necessários e o zgrep para procurar arquivos compactados:

find <folder> -type f -name "<search criteria[*gz,*bz...]>" -execdir zgrep -in "<grep expression>" '{}' ';'

Não testou isso em tarballs