É possível no bash começar a ler um arquivo de um deslocamento de contagem de bytes arbitrário?

Quero localizar uma data que esteja em algum lugar em um log de 8 GB (texto).

Posso ignorar um pouco uma leitura sequencial completa e primeiro fazer divisões binárias do arquivo (tamanho) ou navegar de alguma forma no sistema de arquivos inodes(sobre o qual sei muito pouco), para começar a ler de cada ponto de divisão, até encontrar um deslocamento adequado de por onde começar minha pesquisa de texto por uma linha que contenha a data?

taila leitura da última linha não usa uma leitura seqüencial normal, então, eu me pergunto se esse recurso está disponível de alguma forma no bash, ou eu precisaria usar Python ou C / C ++ ... mas estou especificamente interessado em uma bashopção ..

for (( block = 0; block < 16; block += 1 ))
do 
    echo $block; 
    dd if=INPUTFILE skip=$((block*512))MB bs=64 count=1 status=noxfer 2> /dev/null | \
        head -n 1
done

que .. não cria arquivos de divisão temporária, ignora blocos * 512 MB de dados a cada execução, lê 64 bytes dessa posição e limita a saída à primeira linha desses 64 bytes.

convém ajustar 64 para o que achar necessário.

Parece que você quer:

tail -c +1048576

ou qualquer número de bytes que você deseja pular. O sinal de mais indica a cauda para medir desde o início do arquivo em vez do final. Se você estiver usando a versão GNU do tail, pode escrever isso como:

tail -c +1M

Para obter um número fixo de bytes após o corte, em vez de todo o restante do arquivo, basta passar pela cabeça:

tail -c +1048576 | head -c 1024

Eu tentaria algo assim para dividir o log em pedaços de 512MiB para uma análise mais rápida.

split <filename> -b 536870912

Se você estiver procurando pelo arquivo, o seguinte funcionará:

for file in x* ; do
  echo $file
  head -n 1 $file
done

Use essa saída para determinar qual arquivo grep para sua data.

Aqui está o meu script, estou procurando a primeira linha onde o primeiro campo corresponde ao meu número. As linhas são classificadas de acordo com o primeiro campo. Uso o dd para verificar a primeira linha de blocos de 128K, depois pulo para o bloco e faço uma pesquisa. Melhora a eficiência, pois o arquivo ultrapassa 1 milhão.

Qualquer comentário ou correção é apreciado!

#!/bin/bash

search=$1;
f=$2;

bs=128;

max=$( echo $(du $f | cut -f1)" / $bs" | bc );
block=$max;
for i in $(seq 0 $max); do
 n=$(dd bs=${bs}K skip=$i if=$f 2> /dev/null| head -2 | tail -1 | cut -f1)
 if [ $n -gt $search ]; then
  block=`expr $i - 1` 
  break;
 fi
done; 
dd bs=${bs}K skip=$block if=$f 2> /dev/null| tail -n +2 | awk -v search="$search" '$1==search{print;exit 1;};$1>search{exit 1;};';

* EDIT * ** grep é muito mais rápido e aceita ainda melhor