Como forçar o Logstash a reanalisar um arquivo?

Eu instalei o Logstash para analisar arquivos apache. Levei muito tempo para acertar as configurações e sempre tentei em registros reais. Percebi (como diz a documentação) que o logstash "se lembra" de onde estava em um arquivo. Agora minhas configurações estão OK e eu gostaria que Logstash "esquecesse". Parece mais difícil do que eu. Eu já fiz o seguinte:

• usava: start_position => "beginning"

• excluiu a pasta "data" completa de elastissearch (e parou primeiro)

• olhou para quais arquivos foram abertos pelo logstash lsof -p PIDe excluiu tudo o que era promissor (no meu caso /tmp/jffi*.tmp)

Mesmo assim, o Logstash não se esquece e analisa apenas os arquivos "novos" na pasta onde os logs estão

Alguma ideia?

Por padrão, o logstash grava a última posição em um arquivo de log que geralmente reside em $HOME/.sincedb. Logstash pode ser enganado ao acreditar que nunca analisou o arquivo de log especificando /dev/nullcomo sincedb_path.

Aqui está a parte da documentação Arquivo de entrada .

Onde gravar o banco de dados desde (mantém o controle da posição atual dos arquivos de log monitorados). O padrão é o valor da variável de ambiente "$ SINCEDB_PATH" ou "$ HOME / .sincedb".

Exemplo de configuração

input {
    file {
        path => "/tmp/logfile_to_analyse"
        start_position => "beginning"
        sincedb_path => "/dev/null"
    }
}

O arquivo de plugin armazena o histórico de "cauda" no arquivo sincedb, padrão: sob $ HOME / .sincedb *, consulte http://logstash.net/docs/1.3.3/inputs/file#sincedb_path

A linha desde que o arquivo db contém se parece com:

[inode] [major device number] [minor device number] [byte offset]

Portanto, se quiser analisar novamente um arquivo completo, você precisa:

• deletar arquivos sindedb
• OU exclua apenas a linha correspondente no arquivo sincedb, verifique o número do inode antes do seu arquivo ( ls -i yourFile | awk '{print $1}')
• E reinicie o Logstash

Com a chave start_position => "beginning", o Logstash analisará todo o arquivo.

Exemplo de arquivo sincedb:

• nome:: .sincedb_7a7413a84171aa550d5318c17fd756e9o nome contém sincedb_ e um MD5 (Digest :: MD5.hexdigest) de todos os diretórios no caminho da chave ( http://logstash.net/docs/1.3.3/inputs/file#path ). Veja o código do arquivo de plugin: https://github.com/logstash/logstash/blob/master/lib/logstash/inputs/file.rb#L105

Logstash manterá o registro $HOME/.sincedb_*. Você pode excluir todos os .sincedbe reiniciar o logstash, o Logstash analisará novamente o arquivo.

Combinando todas as respostas, acho que esta é a melhor maneira de analisar arquivos. Eu fiz o mesmo para meus testes.

input {
  file {
    path => "/tmp/access_log"
    start_position => beginning
    sincedb_path => "/dev/null"
    ignore_older => 0
  }
}

Para um teste rápido, em vez de ignore_older, você também pode touch /tmp/access_logalterar o carimbo de data / hora do arquivo.

Se você estiver usando logstash-forwarder, verifique se há .logstash-forwarderarquivos em sua página inicial :

{
  "/var/log/messages": {
    "source": "/var/log/messages",
    "offset": 43715,
    "inode": 12967,
    "device": 51776
  }
}

Após a exclusão, $HOME/.sincedb_*ele ainda não estava ingerindo dados para mim.

Depois de tentar várias coisas, removi tudo, exceto o .confarquivo principal, /etc/logstash/conf.de reiniciei o Logstash, e tudo funcionou. Só posso presumir que havia algo em um dos .confarquivos que o logstash estava silenciosamente pendurado.

Na verdade, repetir cada vez é muito caro se o arquivo contiver muitos dados. Portanto, você precisa ter cuidado antes de fazer isso. Se quisermos forçá-lo a analisar novamente, defina o parâmetro dentro do bloco de entrada

sincedb_path => "/dev/null" 

Esta opção não armazenará o arquivo .sincedb e o logstash analisará novamente todas as vezes. Mas se você quiser repetir ocasionalmente, não todas as vezes, o que você pode fazer é excluir manualmente o caminho .sinceDb que é criado ao analisar o arquivo. Geralmente, ele está presente no diretório inicial como um arquivo oculto, se você não for um usuário root, de outra forma no diretório raiz. Você também pode definir o sincedb_path para algum outro local para rastrear este arquivo facilmente.

sincedb_path => "/home/shubham/sinceDB/productsSince.db"

Se você quiser evitar bagunçar as opções de logstash, descobri que renomear ou remover o arquivo de log existente e criar um novo arquivo a partir do conteúdo do arquivo antigo enganará o logstash para reindexá-lo.

Eu o encontrei em meu diretório inicial, mas depois de excluí-lo, o logstash se recusou a selecionar novamente os arquivos de log existentes. A maneira que fiz isso funcionar foi adicionando

sincedb_path => "/opt/elk/sincedb/"  

ao meu plugin de arquivo. Acho que para reiniciar a cada vez, é só mudar o caminho de sincedb_path

se você usar tar.gz install filebeat, você pode deletar este arquivo $FilebeatPath/data/registry/filebeat/data.json,, e executar novamente o filebeat

Tente deletar a /var/lib/logstashpasta em seu ENV

O novo diretório do logstash versão 5 está em

<path.data>/plugins/inputs/file

A definição de path.data está em logstash.yml