Kafka-Fehler für Themen, die ich nicht abonniert habe

Question

Ich habe eine Kafka-Warnung für Themen gesehen, für die meine aktuelle Instanz nicht abonniert ist. Wir verwenden den gleichen Kafka-Broker und jeder Entwickler hat sein eigenes Thema. Allerdings verwenden wir alle die gleiche Gruppen-ID/ClientID, die in einer Eigenschaftendatei angegeben ist.

2017-06-27T11:48:35.20-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,195 WARN [NetworkClient] - [kafka-coordinator-heartbeat-thread | ingestion-matching-kafka-consumer-group] - Error while fetching metadata with correlation id 154274 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION} 
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,339 INFO [PdfXmlMatcherTask] - [scheduler-1] - 
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,340 INFO [PdfXmlMatcherTask] - [scheduler-1] - Checking messages... 
2017-06-27T11:48:35.41-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,412 WARN [NetworkClient] - [scheduler-1] - Error while fetching metadata with correlation id 154275 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION} 

Wird das erwartet? Brauche ich separate Gruppen-/Client-IDs, obwohl jede Person ihr eigenes Thema hat?

Zweitens bin ich nicht ganz sicher, was dieser Fehler bedeutet: Der Heartbeat-Coordinator-Thread konnte Metadaten für zwei Themen nicht abrufen, aber diese Themen existieren, es ist nur, dass die Verbraucher für diese Themen nicht ausgeführt werden.

Answer 1

client.id - ist nützlich für die Rückverfolgung von Anfragen, sollte für jeden Client eindeutig sein (wenn auch nicht zwingend erforderlich).

Groupid - dies gilt nur für die Verbraucher. Durch Ihre kurze Beschreibung möchten Sie wahrscheinlich jeden Verbraucher in einer eigenen Gruppe haben.

Ich schlage vor, Sie lesen, was ConsumerGroups sind: „Kafka Thema Verbrauch skaliert von Partitionen unter einer Verbrauchergruppe zu verteilen, die eine Reihe von Verbrauchern ist eine gemeinsame Gruppenkennung teilen“ https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/

UNKNOWN_TOPIC_OR_PARTITION ist ein Fehler dass der Broker genau dann zurückkehrt, wenn ein Thema oder eine Partition nicht existiert. Es ist ein Irrtum, den der Kafka-Kunde als wiederholbar behandelt.

Wenn Sie denken, dass das Thema existiert, überprüfen Sie bitte zweimal. Es könnte auch der Fall sein, dass das Thema existiert, aber ein Produzent oder Verbraucher direkt auf eine nicht vorhandene Partition eines vorhandenen Themas abzielt.