Kafka HDFS-Connector mit Cluster in NameNode HA-Modus

Question

Ich habe einen HDP-Cluster im HA-Modus NameNode. Insbesondere ändert dieser Modus, wie HDFS Advanced Core-Site-Konfiguration - fs.defaultFS.

Es wird von hdfs://<host>:<port> zu (wie zB in https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_hadoop-ha/content/ha-nn-config-cluster.html dargestellt):

<property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property>

Diese Einstellung wird durch Anschluss config verwendet wird, hdfs.url=hdfs://mycluster, es nicht anschließen, da es nicht den Cluster finden : Caused by: java.net.UnknownHostException: mycluster

Was ich stattdessen tun muss, damit es funktioniert, ist hdfs.url=hdfs://<active NameNode fqdn>:8020 einzustellen. Dies unterstützt jedoch keine HA. Wenn dieser NameNode heruntergenommen wird, schlägt die gesamte Integration fehl und Kafka Connector wechselt nicht auf den neuen NameNode.

Hat es jemand geschafft Kafka HDFS Connect erfolgreich mit NameNode im HA-Modus zu arbeiten?

Answer 1

Haben Sie auch hdfs-site mit HA-Einstellungen konfiguriert? Könnten Sie diese teilen? Sie müssen sicherstellen, dass zumindest haben:

• dfs.nameservices
• dfs.ha.namenodes.mycluster
• dfs.client.failover.proxy.provider.mycluster
• dfs.namenode.http-address.mycluster.* und dfs.namenode.rpc-address.mycluster.*