Binäre Daten von Kafka lesen Thema in Spark Job

Question

Ich muss eine verschlüsselte Nachricht von einem Kafka-Thema lesen. Mein aktueller Code, die Strings aus dem Thema liest sieht wie folgt aus:

JavaInputDStream<ConsumerRecord<String, String>> istream1 = KafkaUtils.createDirectStream(
        jssc, 
        LocationStrategies.PreferConsistent(), 
        ConsumerStrategies.<String, String>Subscribe(Arrays.asList(topics), kafkaParams) 
       ); 

was ich ändern soll ich mit diesem Code tue Byte-Arrays aus der kafka Warteschlange zu lesen, um sicherzustellen, werden die verschlüsselten Daten nicht in dem Prozess beschädigt werden der Typumwandlung. Während ich den obigen Code aus dem Spark-Programmführer nahm, im nicht der Lage, diese API in der KafkaUtils zu finden: http://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/streaming/kafka/KafkaUtils.html

Answer 1

Sie ein gutes Beispiel für Kafka Verbindung here sehen können.

Aber was Sie wollen, ist eine ByteArray von Ihrem Kafka Topic zu nehmen.

Diese Verbindung benötigen Sie einen JavaPairInputDStream wie diese zu erstellen:

import org.apache.kafka.common.serialization.ByteArrayDeserializer 
JavaPairInputDStream<String, Array[Byte]> messages = KafkaUtils.createDirectStream(
    jssc, 
    String.class, 
    String.class, 
    StringDecoder.class, 
    ByteArrayDeserializer.class, 
    kafkaParams, 
    topicsSet 
);