Ich möchte wissen, ob Kafka und Kafka-connect auf verschiedenen Servern laufen können? So würde ein Connector auf Server A gestartet werden und Daten von einem Kafka-Thema auf Server B an HDFS oder S3 usw. senden. DankeKafka und Kafka-connect auf verschiedenen Servern ausführen?
Ja, Sie können es tun.
Ich habe meine kafka-Server und kafka connect-Anwendungen laufen auf verschiedenen Maschinen und schreiben Daten in hdfs. Sie haben zu erwähnen, können Sie die Liste der Makler in bootstrap.servers unter Arbeiter Eigenschaften Datei (config/connect-distributed.properties oder config/connect-standalone.properties) zu erwähnen, anstelle von localhost: 9092
Ja Bei Produktionsbereitstellungen wird dies normalerweise aus Ressourcengründen empfohlen. Im Allgemeinen würden Sie einen Cluster von Kafka-Brokern (3+ für HA) und dann einen Cluster von Kafka-Cluster-Mitarbeitern (so viele, wie für die Durchsatzkapazität/Ausfallsicherheit erforderlich sind) bereitstellen - alles auf separaten Knoten. Weitere Informationen finden Sie unter Confluent Enterprise Reference Architecture.