Ich bin neu bei Kafka, ich betreibe Kafka ab sofort in einer einzigen Maschine. Ich möchte kafka in einer verteilten Umgebung auf mehreren Rechnern ausführen. Dafür gibt es keine ordnungsgemäße Dokumentation. Jede Dokumentation oder Anregung dazu wird sehr hilfreich sein.Kafka im verteilten System
Grundsätzlich müssen Sie die follwing
1) Stellen Sie bis tun kafka auf allen Maschinen
2) Konfigurieren Sie die config/server1.properties Eigenschaften eine einzigartige id für jede Maschinen angeben Datei. Sie können dies tun, indem Sie die Eigenschaften broker.id in der Konfigurationsdatei festlegen. z.B. broker.id=1, broker.id=2. Für jeden Broker sollte diese ID eindeutig sein. So wird jeder Knoten in einem Kafka-Cluster identifiziert.
3) Starten Sie Kafka in allen Knoten
Sie können Step 6: Setting up a multi broker cluster von ihrer offiziellen schnellen Startseite beziehen.
Auch ist here ein schöner Artikel lohnt sich ein Blick
Hinzufügen auf die vorherige Antwort von user2720864
Nehmen wir an, dass Kafka System mit unter Konfiguration unter benötigt wird.
7 Kafka Knoten
3 Tierpfleger
auf 7 Kafka Instanzen zu erreichen, installieren, in 7 verschiedenen Server/vm (Instanzen), und in jedem dieser Fälle einen anderen Broker-ID gesetzt, diese lässt den Tierpfleger die verschiedenen Kafka-Knoten für die Buchhaltung und Wartung identifizieren. broker.id = X (/config/server.properties)
Zum Starten von Tierpflegern können Sie 3 der vorherigen kafka-Instanzen verwenden oder neue Server zum Starten von Tierpflegern verwenden. Sobald die Server ausgewählt sind, auf denen die Tierpfleger laufen, ändern Sie die Datei /config/server.properties, um Tierpfleger anzugeben.
zookeeper.connect = hostname1: port1, hostname2: port2
In einer verteilten Umgebung seine schöne 3 Tierpfleger haben. Während es nur einen Tierpfleger gibt, der als echter Meister fungiert, fungieren andere 2 Tierpfleger als Versager. Wenn der Master ausfällt, übernimmt einer der beiden ZKs den Master.
Ich fand diese link als sehr nützlich, es half mir, eine Menge Dinge über Kafka-Architektur zu klären.
This ist eine gute Referenz für alle Konfigurationen auf den Eigenschaftendateien in kafka.
Hoffe, das hilft!
Danke für die Vorschläge Ich werde versuchen, eine ausgearbeitete Antwort zu geben. – smadhava
Denken Sie über [so etwas] (http://kafka.apache.org/documentation.html#distributionimpl) nach? –
Ich möchte, dass der Hersteller in einem anderen System läuft, Broker auf mehreren Systemen und ein Verbraucher auf einem anderen System, um es zu konsumieren. –
läuft der Hersteller/Verbraucher in einer eigenständigen Maschine nicht viel Nutzen. Sie sollten versuchen, Ihre Anwendung über Cluster zu verteilen, um die Last auszugleichen und den Durchsatz zu erhöhen. Zum Beispiel hängt der Grad der Parallelität im asynchronen Modus von der Anzahl der Broker im Cluster ab. – user2720864