ELK Stack (Logstash, Elasticsearch e Kibana) com servidor syslog remoto simultâneo?

8

Estou criando um serviço de analisador de logs para começar a monitorar principalmente nossos firewalls pfSense, XenServer Hypervisors, servidores FreeBSD / Linux e servidores Windows.

Há muita documentação na internet sobre a pilha ELK e como fazê-la funcionar bem. Mas gostaria de usá-lo de uma maneira diferente, mas não sei se é uma boa solução ou apenas uma perda de tempo / espaço em disco.

Eu já tenho uma máquina FreeBSD 10.2 atuando como um servidor syslog remoto, e minha ideia é simplesmente concentrar todos os logs nesta máquina e eles o servidor syslog encaminha os logs logstash-forwarderpara o servidor ELK.

Está claro para mim que essa abordagem aumentará os requisitos de disco para essa configuração, mas, por outro lado, terei apenas uma máquina com o logstash-forwarderdaemon instalado, o que me parece bom.

Mas falando sobre problemas. O logstashanalisador corresponde [host]ao nome do host do servidor que está enviando as mensagens de log e, nessa abordagem, existe apenas no programa "server" no ELK, o servidor syslog remoto.

Estou ciente de que posso personalizar as configurações nos logstasharquivos de configuração, mas não sei (e não tenho experiência para saber) se essa é apenas uma configuração simples nos analisadores, se isso comprometer todo o ELK experiência.

No final, só quero alguns conselhos sobre minha arquitetura de log e se ela funcionará ou se devo seguir sem outra opção.

Desde já, obrigado,

Vinícius Ferrão
fonte
Eu tenho certeza que o que você quer fazer é possível, mas detalhes sobre o formato em que você está acessando o servidor syslog central, a taxa de registro, etc., serão ótimos. Além disso, fazer uma pergunta específica fornecerá respostas muito melhores do que simplesmente dizer "Estou perdido, por favor, ajude".
GregL
Você já considerou graylog? Você pode usar a entrada syslog graylog para inserir o syslog no elasticsearch. A partir daí, você pode usar o Kibana e o graylog possui um extrator syslog / pfsense disponível.
Davey #
Logstash também tem um syslog entrada ...
GregL

Respostas:

3

Sim. É possível alterar o hostcampo na saída do logstash com o rubyfiltro sem muito aborrecimento.

    ruby {
            code => "
                    event['host'] = event['message'].split(' ')[3]
                   "
    }

Aqui assumi que, nos logs do servidor syslog, o campo host é o quarto campo em que o espaço em branco é o separador.

7171u
fonte