Spark Streaming enthält keine KafkaUtils

Question

Ich habe ein Projekt erstellt, in dem ich einen Kafka-Stream konsumieren möchte. Aus diesem Grund muss ich die KafkaUtils vom Spark Streaming verwenden. Aber wenn ich versuche, KafkaUtils zu verwenden, können sie nicht aufgelöst werden.

Ich fügte die spark-streaming_2.11-2.0.1.jar hinzu und versuchte, org.apache.spark.streaming.kafka. *; Zu importieren. Aber es kann auch nicht gelöst werden.

Kann mir jemand sagen, was ich vermisse?

Mit freundlichen Grüßen

Answer 1

Das Problem war, dass ich

Funken streaming_2.11-2.0.1.jar

aber ich brauchte die

Funken Streaming-kafka_2.10-1.6.2 verwenden. Glas

Vergesst.

Answer 2

Sie benötigen Funken Streaming-kafka_2.11-2.0.1.jar vor der Verwendung KafkaUtils

Answer 3

Sie müssen hinzufügen import org.apache.spark.streaming.kafka._ statt import org.apache.spark.streaming.kafka.* in Scala verwenden.