Comando unix rápido para exibir linhas específicas no meio de um arquivo?

Tentando depurar um problema em um servidor e meu único arquivo de log é um arquivo de 20 GB (sem timestamps! Por que as pessoas usam System.out.println()como log? Na produção ?!)

Usando grep, encontrei uma área do arquivo que gostaria de dar uma olhada na linha 347340107.

Além de fazer algo como

head -<$LINENUM + 10> filename | tail -20 

... o que exigiria heada leitura das primeiras 347 milhões de linhas do arquivo de log, existe um comando rápido e fácil que despejaria as linhas 347340100 - 347340200 (por exemplo) no console?

update Esqueci totalmente que o grep pode imprimir o contexto em torno de uma partida ... isso funciona bem. Obrigado!

com o GNU-grep você poderia dizer

grep --context = 10 ...

Encontrei duas outras soluções, se você souber o número da linha, mas nada mais (não é possível grep):

Supondo que você precise das linhas 20 a 40,

sed -n '20,40p;41q' file_name

ou

awk 'FNR>=20 && FNR<=40' file_name

# print line number 52
sed -n '52p' # method 1
sed '52!d' # method 2
sed '52q;d' # method 3,  efficient on large files 

método 3 eficiente em arquivos grandes

maneira mais rápida de exibir linhas específicas

Não, não há, os arquivos não são endereçáveis ​​por linha.

Não existe uma maneira constante de encontrar o início da linha n em um arquivo de texto. Você deve transmitir pelo arquivo e contar novas linhas.

Use a ferramenta mais simples / rápida para executar o trabalho. Para mim, usar headfaz muito mais sentido do que grep, uma vez que o último é muito mais complicado. Não estou dizendo " grepé lento", realmente não é, mas ficaria surpreso se for mais rápido do que headneste caso. Isso seria um bug head, basicamente.

A respeito:

tail -n +347340107 filename | head -n 100

Não testei, mas acho que funcionaria.

Eu prefiro apenas entrar lesse

• digitando 50%para ir até a metade do arquivo,
• 43210G para ir para a linha 43210
• :43210 para fazer o mesmo

e coisas assim.

Ainda melhor: pressione vpara começar a editar (no vim, é claro!), Naquele local. Agora, observe que vimpossui as mesmas ligações de teclas!

Eu primeiro dividi o arquivo em alguns menores como este

$ split --lines=50000 /path/to/large/file /path/to/output/file/prefix

e depois grep nos arquivos resultantes.

Você pode usar o excomando, um editor Unix padrão (parte do Vim agora), por exemplo

• exibir uma única linha (por exemplo, a segunda):

  ex +2p -scq file.txt

  sintaxe sed correspondente: sed -n '2p' file.txt

• intervalo de linhas (por exemplo, 2-5 linhas):

  ex +2,5p -scq file.txt

  sintaxe sed: sed -n '2,5p' file.txt

• da linha especificada até o final (por exemplo, do 5º ao final do arquivo):

  ex +5,p -scq file.txt

  sintaxe sed: sed -n '2,$p' file.txt

• vários intervalos de linhas (por exemplo, 2-4 e 6-8 linhas):

  ex +2,4p +6,8p -scq file.txt

  sintaxe sed: sed -n '2,4p;6,8p' file.txt

Os comandos acima podem ser testados com o seguinte arquivo de teste:

seq 1 20 > file.txt

Explicação:

• +ou -cseguido pelo comando - execute o comando (vi / vim) após a leitura do arquivo,
• -s - modo silencioso, também usa o terminal atual como saída padrão,
• qseguido por -cé o comando para sair do editor (adicione !para fazer sair da força, por exemplo -scq!).

Se o seu número de linha for 100 para ler

head -100 filename | tail -1

Obter ack

Instalação do Ubuntu / Debian:

$ sudo apt-get install ack-grep

Então corra:

$ ack --lines=$START-$END filename

Exemplo:

$ ack --lines=10-20 filename

De $ man ack:

--lines=NUM
    Only print line NUM of each file. Multiple lines can be given with multiple --lines options or as a comma separated list (--lines=3,5,7). --lines=4-7 also works. 
    The lines are always output in ascending order, no matter the order given on the command line.

O sed precisará ler os dados também para contar as linhas. A única maneira possível de um atalho seria o contexto / ordem no arquivo para operar. Por exemplo, se houvesse linhas de log anexadas com uma largura / hora / data fixas etc., você poderia usar o utilitário look unix para pesquisar binariamente nos arquivos por datas / horas específicas

Usar

x=`cat -n <file> | grep <match> | awk '{print $1}'`

Aqui você obterá o número da linha onde a partida ocorreu.

Agora você pode usar o seguinte comando para imprimir 100 linhas

awk -v var="$x" 'NR>=var && NR<=var+100{print}' <file>

ou você pode usar "sed" também

sed -n "${x},${x+100}p" <file>

Com a sed -e '1,N d; M q'impressão das linhas N + 1 a M. Isso provavelmente é um pouco melhor, grep -Cpois não tenta corresponder as linhas a um padrão.

Com base na resposta do Sklivvz, aqui está uma boa função que você pode colocar em um .bash_aliasesarquivo. É eficiente em arquivos enormes ao imprimir coisas pela frente do arquivo.

function middle()
{
    startidx=$1
    len=$2
    endidx=$(($startidx+$len))
    filename=$3

    awk "FNR>=${startidx} && FNR<=${endidx} { print NR\" \"\$0 }; FNR>${endidx} { print \"END HERE\"; exit }" $filename
}

Para exibir uma linha de a <textfile>por sua <line#>, faça o seguinte:

perl -wne 'print if $. == <line#>' <textfile>

Se você deseja uma maneira mais poderosa de mostrar um intervalo de linhas com expressões regulares - não direi por que o grep é uma má idéia para fazer isso, deve ser bastante óbvio - essa expressão simples mostrará seu intervalo em um passe único que é o que você deseja ao lidar com arquivos de texto de ~ 20 GB:

perl -wne 'print if m/<regex1>/ .. m/<regex2>/' <filename>

(dica: se o seu regex tiver /, use algo como isso m!<regex>!)

Isso imprimiria <filename>começando com a linha que corresponde <regex1>até (e incluindo) a linha que corresponde <regex2>.

Não é preciso um assistente para ver como alguns ajustes podem torná-lo ainda mais poderoso.

Última coisa: o perl, por ser uma linguagem madura, possui muitas melhorias ocultas para favorecer a velocidade e o desempenho. Com isso em mente, torna a escolha óbvia para essa operação, uma vez que foi originalmente desenvolvida para lidar com grandes arquivos de log, texto, bancos de dados etc.

Você pode tentar este comando:

egrep -n "*" <filename> | egrep "<line number>"

Fácil com perl! Se você deseja obter as linhas 1, 3 e 5 de um arquivo, diga / etc / passwd:

perl -e 'while(<>){if(++$l~~[1,3,5]){print}}' < /etc/passwd

Surpreende-me apenas uma outra resposta (de Ramana Reddy) sugerida para adicionar números de linha à saída. A seguir, procura o número da linha necessária e pinta a saída.

file=FILE
lineno=LINENO
wb="107"; bf="30;1"; rb="101"; yb="103"
cat -n ${file} | { GREP_COLORS="se=${wb};${bf}:cx=${wb};${bf}:ms=${rb};${bf}:sl=${yb};${bf}" grep --color -C 10 "^[[:space:]]\\+${lineno}[[:space:]]"; }