Adicione linhas ao início e ao fim do arquivo enorme

Eu tenho o cenário em que as linhas a serem adicionadas no início e no final dos arquivos enormes.

Eu tentei como mostrado abaixo.

• para a primeira linha:

  sed -i '1i\'"$FirstLine" $Filename

• para a última linha:

  sed -i '$ a\'"$Lastline" $Filename  

Mas o problema com este comando é que ele está anexando a primeira linha do arquivo e atravessando o arquivo inteiro. Para a última linha, é novamente percorrendo o arquivo inteiro e anexando uma última linha. Como seu arquivo muito grande (14 GB) está demorando muito tempo.

Como posso adicionar uma linha ao início e outra ao final de um arquivo enquanto apenas o leio uma vez?

sed -iusa tempfiles como um detalhe de implementação, que é o que você está enfrentando; no entanto, anexar dados ao início de um fluxo de dados sem substituir o conteúdo existente exige a reescrita do arquivo; não há como contornar isso, mesmo evitando sed -i.

Se a reescrita do arquivo não for uma opção, considere manipulá-lo quando for lido, por exemplo:

{ echo some prepended text ; cat file ; } | command

Além disso, sed é para editar fluxos - um arquivo não é um fluxo. Use um programa destinado a esse fim, como ed ou ex. A -iopção sed não é apenas portátil, mas também quebra os links simbólicos para o seu arquivo, pois ele o exclui e recria, o que é inútil.

Você pode fazer isso em um único comando com edo seguinte:

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

Observe que, dependendo da sua implementação do ed, ele pode usar um arquivo de paginação, exigindo que você tenha pelo menos esse espaço disponível.

Observe que, se você quiser evitar a alocação de uma cópia inteira do arquivo no disco, poderá:

sed '
1i\
begin
$a\
end' < file 1<> file

Isso usa o fato de que, quando seu stdin / stdout é um arquivo, sed lê e grava em bloco. Portanto, aqui, não há problema em substituir o arquivo que está lendo, desde que a primeira linha que você está adicionando seja menor que sedo tamanho do bloco (deve ser algo como 4k ou 8k).

Observe que, se por algum motivo sedfalhar (morte, falha na máquina ...), você terminará com o arquivo meio processado, o que significa que alguns dados do tamanho da primeira linha estão ausentes em algum lugar no meio.

Observe também que, a menos que você sedseja o GNU sed, isso não funcionará para dados binários (mas como você está usando -i, você está usando o GNU sed).

Aqui estão algumas opções (que criarão uma nova cópia do arquivo, verifique se você tem espaço suficiente para isso):

• eco simples / gato

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk etc

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awke seus arquivos de leitura ilk linha por linha. O BEGIN{}bloco é executado antes da primeira linha e o END{}bloco após a última linha. Então, o comando acima significa print "first" at the beginning, then print every line in the file and print "last" at the end.

• Perl

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  Isso é essencialmente a mesma coisa que o gawk acima, escrito em Perl.

Eu prefiro o muito mais simples:

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

Isso transforma o arquivo:

asdf
qwer

para o arquivo:

foo
asdf
qwer
bar

Você pode usar o Vim no modo Ex:

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 selecione a primeira linha

2. i inserir texto e nova linha

3. $ selecione a última linha

4. a acrescentar texto e nova linha

5. x salvar e fechar

Não há como inserir dados no início de um arquivo¹, tudo o que você pode fazer é criar um novo arquivo, gravar os dados adicionais e anexar os dados antigos. Portanto, você terá que reescrever o arquivo inteiro pelo menos uma vez para inserir a primeira linha. Você pode acrescentar a última linha sem reescrever o arquivo.

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

Como alternativa, você pode combinar os dois comandos em uma corrida de sed.

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -icria um novo arquivo de saída e o move sobre o arquivo antigo. Isso significa que, enquanto o sed estiver trabalhando, há uma segunda cópia do arquivo usando espaço. Você pode evitar isso substituindo o arquivo no local , mas com restrições importantes: a linha que você está adicionando deve ser menor que o buffer do sed e, se o sistema travar, você terminará com um arquivo danificado e com algum conteúdo perdido no meio, então eu recomendo fortemente contra isso.

¹ O _{Linux tem uma maneira de inserir dados em um arquivo, mas só pode inserir um número inteiro de blocos do sistema de arquivos, não pode inserir seqüências de caracteres de comprimentos arbitrários. É útil para alguns aplicativos, como bancos de dados e máquinas virtuais, mas é inútil para arquivos de texto.}

$ (echo "Some Text" ; cat file1) > file2

Os modernos kernels do Linux (superiores a 4.1 ou 4.2) suportam a inserção de dados no início de um arquivo através da fallocate()chamada do sistema FALLOC_FL_INSERT_RANGEnos sistemas de arquivos ext4 e xfs. Em essência, esta é uma operação de mudança lógica: os dados são realocados logicamente com um deslocamento mais alto.

Existe uma restrição em relação à granularidade do intervalo que você deseja inserir no início do arquivo. Mas para arquivos de texto, você provavelmente pode alocar um pouco mais do que o necessário (até o limite da granularidade) e preencher com espaços ou retornos de carro, mas isso depende do seu aplicativo

Não conheço nenhum utilitário linux prontamente disponível que manipule extensões de arquivo, mas não é difícil escrever: obtenha um descritor de arquivo e chame fallocate()com os argumentos apropriados. Para mais detalhes, consulte a página de manual da fallocatechamada do sistema: http://man7.org/linux/man-pages/man2/fallocate.2.html