Storm: Kafka zu HDFS - Abhängigkeit Jar Probleme

Question

Ich habe eine Sturm-Topologie gebaut, die Daten von Kafka verbraucht und in hdfs schreibt.

Wenn Gewitters & kafka Abhängigkeiten wie unten,

<storm.version>0.10.0.2.3.4.0-3485</storm.version> 
<kafka.version>0.8.2.1</kafka.version> 

Topologie mit der unten angegebenen Ausnahme versagt:

java.lang.NoSuchMethodError: kafka.javaapi.consumer.SimpleConsumer.<init>(Ljava/lang/String;IIILjava/lang/String;Ljava/lang/String;)V 
at storm.kafka.DynamicPartitionConnections.register(DynamicPartitionConnections.java:60) 
at storm.kafka.PartitionManager.<init>(PartitionManager.java:66) 
at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) 
at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:138) 
at backtype.storm.daemon.executor$fn__7098$fn__7113$fn__7142.invoke(executor.clj:596) 
at backtype.storm.util$async_loop$fn__543.invoke(util.clj:475) 
at clojure.lang.AFn.run(AFn.java:22) 
at java.lang.Thread.run(Thread.java:745) 

Aber Wenn Gewitters & kafka Abhängigkeiten wie unten,

<storm.version>0.9.3.2.2.4.0-2633</storm.version> 
<kafka.version>0.8.2.1</kafka.version> 

Topologie ist r Feines und Herunterladen von Nachrichten und Schreiben in hdfs, ohne irgendwelche Probleme !!

Kann jemand bitte helfen, was das Problem verursacht und mir hilft, das Problem zu beheben!

Answer 1

HDP 2.3.4 unterstützt Kafka-0,9 aus dem Kasten heraus.

Es wird nicht empfohlen, eine andere Version als den HDP-Stack zu verwenden, da das Verhalten nicht getestet und daher nicht unterstützt wurde.

Referenzen: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bk_HDP_RelNotes/content/ch_relnotes_v234.html

Answer 2

Versuchen Sie, den Sturm-kafka Abhängigkeit von diesem Wechsel:

<groupId>org.apache.storm</groupId> 
<artifactId>storm-kafka</artifactId> 
<version>${storm.version}</version> 
<scope>compile</scope> 

dazu:

<groupId>org.apache.storm</groupId> 
<artifactId>storm-kafka</artifactId> 
<version>0.9.3.2.2.4.0-2633</version> 
<scope>compile</scope> 

und der Sturm und Kafka-Version dazu halten:

<storm.version>0.10.0.2.3.4.0-3485</storm.version> 
<kafka.version>0.8.2.1</kafka.version>