Spark Streaming Schiebefenster max und min

Question

Ich bin Begine zu Spark; Ich arbeite an Spark-Streaming-Anwendungsfall, wo ich eine JSON-Nachrichten erhalten jede JSON-Nachricht hat ein Attribut 'Wert', die nach dem Analysieren JSON Double ist Ich bekomme ein Array [Double] .Ich möchte herausfinden, max (Wert) und min (Wert) für die letzten 15 Sekunden mit Schiebefenster von 2 Sek. Hier ist mein Code.

val record = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicMap, StorageLevel.MEMORY_ONLY_SER_2) 
val lines=record.map(_._2) 

val valueDtsream:DStream[Array[Double]]=lines.map { jsonRecord => parseJson(jsonRecord) } 
          .window(Seconds(15),Seconds(2)) 

     valueDtsream.foreachRDD 
     { 
     rdd => 
      if (!rdd.partitions.isEmpty) 
      { 
       //code to find min and max 
      } 
     } 

ssc.start() 
ssc.awaitTermination() 

Answer 1

Versuchen:

valueDtsream.transform(rdd => { 
    val stats = rdd.flatMap(x => x).stats 
    rdd.sparkContext.parallelize(Seq((stats.min, stats.max))) 
})