PartitionId in kafka repliziert Partition

Question

Ich implementiere Kafka Produzent mit einzelnen Thema mit mehreren Partitionen. Ich wähle, auf welche Partition eine Nachricht um einen bestimmten Wert (feedName Eigenschaftswert in Nachricht json) in Nachricht geht. Ich führe eine SQL-Tabelle für das feedName - partitionId-Mapping. Meine Fragen lauten: Wird die Partitions-ID sowohl für den Leader als auch für die Replikate identisch sein? Wenn anders, wie kann ich eine Partition für alle Broker eindeutig identifizieren?

Answer 1

Partition ID ist gleich über die Broker. Wenn nicht, würde es wirklich verwirrend werden.

Partition-IDs werden in Zookeeper verwaltet, und alle Broker haben Zugriff auf Zookeeper. Dies ist, wofür es verwendet wird - so haben alle Broker die gleiche Ansicht von Themen und Partitionen (und Broker, für diese Angelegenheit).

Answer 2

Partition ID ist unveränderliche Nachrichtensequenz. Sie finden das gleiche in der Kafka-Dokumentation

Jede Partition ist eine geordnete, unveränderliche Folge von Nachrichten, die kontinuierlich an ein Commit-Protokoll angehängt wird.

In Ihrem Anwendungsfall müssen Sie sich keine Gedanken über die Zuordnung von ID und FeedName machen.

Hoffe, das hilft!