Apache-Kafka-Cluster mit MapR Spark-Streaming funktioniert nicht

Question

Beim Herstellen einer Verbindung zum Apache kafka-Cluster mit MapR Spark-Streaming (1.6.1) tritt ein Problem auf. Die Setup-Details sind wie folgt:

• MapR Cluster mit Spark-1.6.1 (3-Knoten-Cluster)

• Apache Kafka Cluster v0.8.1.1 (5 Knoten-Cluster)

Wir verwenden ' spark-streaming-kafka 'Bibliothek von mapr v1.6.1-ampr-1605. Wir haben auch versucht, im lokalen Modus mit Apache Funke (nicht Mapr Funke) zu laufen, das funktioniert sehr gut.

Unten ist der Stack-Trace des Fehlers:

Exception in thread "main" org.apache.kafka.common.config.ConfigException: No bootstrap urls given in bootstrap.servers 
     at org.apache.kafka.clients.ClientUtils.parseAndValidateAddresses(ClientUtils.java:57) 
     at org.apache.kafka.clients.consumer.KafkaConsumer.initializeConsumer(KafkaConsumer.java:606) 
     at org.apache.kafka.clients.consumer.KafkaConsumer.partitionsFor(KafkaConsumer.java:1563) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1$$anonfun$1.apply(KafkaCluster.scala:54) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1$$anonfun$1.apply(KafkaCluster.scala:54) 
     at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251) 
     at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:251) 
     at scala.collection.immutable.Set$Set1.foreach(Set.scala:74) 
     at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:251) 
     at scala.collection.AbstractTraversable.flatMap(Traversable.scala:105) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1.apply(KafkaCluster.scala:53) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster$$anonfun$getPartitions$1.apply(KafkaCluster.scala:52) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster.withConsumer(KafkaCluster.scala:164) 
     at org.apache.spark.streaming.kafka.v09.KafkaCluster.getPartitions(KafkaCluster.scala:52) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.getFromOffsets(KafkaUtils.scala:421) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.createDirectStream(KafkaUtils.scala:292) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils$.createDirectStream(KafkaUtils.scala:397) 
     at org.apache.spark.streaming.kafka.v09.KafkaUtils.createDirectStream(KafkaUtils.scala) 
     at com.cisco.it.log.KafkaDirectStreamin2.main(KafkaDirectStreamin2.java:111) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:742) 
     at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) 
     at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) 
     at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121) 
     at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

PS: wir sind vorbei „metadata.broker.list“, während Verbindung zu schaffen. Spark-Streaming-Anwendung kann keine Verbindung zu ZK herstellen und Bootstrap-URL nicht abrufen. Das ist was ich verstehe. Oder es könnte sein, dass es keine korrekte Version von map-r und kafka jar gibt. Wir haben ein Glas von der Map-r-Seite genommen, aber immer noch nicht funktioniert.

Wir sind in der Lage, mit Apache Funke erfolgreich zu testen, aber nicht in der Lage, es auf mapr arbeiten zu lassen.

Irgendwelche Hilfe appericated.

Answer 1

In Ihrem Stacktrace gibt es Verweise auf org.apache.spark.streaming.kafka.v09 was bedeutet, dass es eine Implementierung ist, die die neue Consumer API verwendet, die mit Kafka 0.9 verfügbar wurde und nicht mit Kafka 0.8.1.1 funktionieren wird. Sie sollten wahrscheinlich eine der Bibliotheken von MapR's spark-streaming-kafka_2.10 stattdessen versuchen.