Perguntas com a marcação «apache-kafka»

Me pediram para avaliar o RabbitMQ em vez do Kafka, mas achei difícil encontrar uma razão para estar fazendo algo melhor que o Kafka. Alguém sabe se é realmente melhor em produtividade, durabilidade, latência ou facilidade de

Embora eu tenha me encontrado com Kafka antes, recentemente percebi que Kafka talvez possa ser usado como (a base de) um CQRS , armazenamento de eventos . Um dos principais pontos que Kafka suporta: Captura / armazenamento de eventos, todos os HA, é claro. Arquitetura de pub / sub Capacidade de...

Existe uma maneira de limpar o tópico no kafka? Enviei uma mensagem muito grande para um tópico de mensagem kafka na minha máquina local, agora estou recebendo um erro: kafka.common.InvalidMessageSizeException: invalid message size Aumentar o fetch.sizenão é o ideal aqui, porque na verdade não...

Estou começando a aprender Kafka para fins de solução corporativa. Durante minhas leituras, algumas perguntas vieram à minha mente: Quando um produtor está produzindo uma mensagem - ele especificará o tópico para o qual deseja enviar a mensagem, certo? Importa-se com partições? Quando um...

Estou tentando usar o Kafka. Todas as configurações são feitas corretamente, mas quando tento produzir uma mensagem do console, continuo recebendo o seguinte erro WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE}

Eu sou relativamente novo em Kafka. Eu experimentei um pouco, mas algumas coisas não estão claras para mim em relação à compensação do consumidor. Pelo que entendi até agora, quando um consumidor inicia, o deslocamento do qual ele começará a ler é determinado pela configuração...

Uma das primeiras coisas em que penso ao usar um novo serviço (como um armazenamento de dados não RDBMS ou uma fila de mensagens) é: "Como devo estruturar meus dados?". Eu li e assisti alguns materiais introdutórios. Em particular, considere, por exemplo, o Kafka: um sistema de mensagens...

No Kafka, eu gostaria de usar apenas um único broker, tópico único e uma única partição com um produtor e vários consumidores (cada consumidor obtendo sua própria cópia dos dados do broker). Diante disso, não quero a sobrecarga de usar o Zookeeper; Não posso apenas usar apenas o corretor? Por que...

Eu envio mensagens String para Kafka V. 0.8 com a API do Java Producer. Se o tamanho da mensagem for de cerca de 15 MB, recebo a MessageSizeTooLargeException. Tentei definir message.max.bytespara 40 MB, mas ainda recebo a exceção. As mensagens pequenas funcionaram sem problemas. (A exceção aparece...

Como encontrar a versão kafka no linux? se existe uma maneira de encontrar a versão kafka instalada além de mencionar a versão durante o

Recentemente, comecei a aprender Kafka e acabei com essas perguntas. Qual é a diferença entre Consumer e Stream? Para mim, se alguma ferramenta / aplicativo consome mensagens do Kafka é um consumidor do mundo Kafka. Como o Stream é diferente, pois também consome ou produz mensagens para o...

Apache Kafka: sistema de mensagens distribuídas Apache Storm: processamento de mensagens em tempo real Como podemos usar as duas tecnologias em um pipeline de dados em tempo real para processar dados de eventos? Em termos de pipeline de dados em tempo real, ambos parecem fazer o trabalho...

Fechado . Esta questão precisa ser mais focada . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que ela se concentre em apenas um problema, editando esta postagem . Fechado há 12 meses . Melhore esta...

Estou usando o Apache Kafka para mensagens. Implementei o produtor e o consumidor em Java. Como podemos obter o número de mensagens em um tópico?

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Atualmente, estou enviando mensagens sem nenhuma chave como parte das mensagens codificadas. Ainda...

Preciso excluir o tópico testno Apache Kafka 0.8.1.1. Conforme expresso na documentação aqui , eu executei: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test No entanto, isso resulta na seguinte mensagem: Command must include exactly one action: --list, --describe, --create...

Fechado . Esta questão precisa ser mais focada . Atualmente não está aceitando respostas. Quer melhorar esta questão? Atualize a pergunta para que ela se concentre em apenas um problema, editando esta postagem . Fechado há 4 meses . Melhore esta...

Existe uma maneira de excluir todos os dados de um tópico ou excluir o tópico antes de cada execução? Posso modificar o arquivo KafkaConfig.scala para alterar a logRetentionHourspropriedade? Existe uma maneira de as mensagens serem excluídas assim que o consumidor as lê? Estou usando...

Fechado . Esta questão precisa ser mais focada . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela se concentre apenas em um problema editando esta postagem . Fechado há 4 dias . Eu fui a uma...

Estou usando o cliente Confluent.Kafka .NET versão 1.3.0. Estou seguindo os documentos : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId =...