Kann jemand Licht auf die Anzahl der Verbindungen und welche Art von Verbindungen von Produzent und Verbraucher zu einem Kafka-Cluster hergestellt werden, während produziert und konsumieren in Java-Client. Die Anzahl der Verbindungen basiert auf dem Thema oder den Partitionen oder Brokern im Cluster?Wie viele Verbindungen werden von Produzenten und Konsumenten zu einem Kafka-Cluster hergestellt?
Jeder Verbraucher/Hersteller muss mit dem Broker verbunden sein, der die Nummer der Partition ist, die der Verbraucher/Hersteller lesen/schreiben möchte. Dies bedeutet, dass ein Client nicht mit allen Brokern innerhalb eines Clusters verbunden sein muss, sondern nur mit den Brokern, die zum Lesen/Senden von Nachrichten benötigt werden. Während der Erstkonfiguration stellen wir eine Liste der Broker zur Verfügung, mit denen eine Verbindung hergestellt werden kann (möglicherweise sogar nur eine). Unter Verwendung solcher Broker erhält der Client Metadateninformationen über das Thema/die Partitionen, die er verwenden möchte und wo sie platziert sind (andere Broker im Cluster). Solche Verbindungen müssen vorhanden sein, damit der Client an dem gewünschten Thema/den gewünschten Partitionen arbeiten kann.
Wenn eine Verbindung für die Erstkonfiguration Producer/Consumer zu einem der Broker in Broker-Liste hergestellt wird, bleibt diese Verbindung bestehen, bis wir Producer/Consumer schließen? Wenn eine Nachricht für den Leiter einer Partition gelesen/geschrieben wird, wird die Verbindung sofort geschlossen, sobald sie vom Client gelesen/geschrieben wurde, oder bleibt sie bestehen, bis der Erzeuger/Verbraucher geschlossen wird? Werden Verbraucher/Hersteller mehrere Verbindungen für einen Broker herstellen, der für mehrere Partitionen führend ist? –
die allgemeine Antwort ist nein. Aus Verbrauchersicht ist es richtig, denn selbst wenn der Verbraucher keine Verbindung mit dem Broker herstellt, wo das Thema verbleibt, wird dieser Broker Partitionen des Themas __consumer_offsets (Standard 50 Partitionen) enthalten, die von Konsumenten zum Vergeben von Offset verwendet werden. Wenn der Producer sich mit dem "falschen" Broker verbindet, weil das Thema auf einem anderen steht, könnte die Verbindung geschlossen werden, ist es aber nicht. – ppatierno
können Sie deutlicher auf die Verbindung von Hersteller/Verbraucher für die Erstkonfiguration erklären. –