Batchgröße in Spark Streaming

Question

Ich bin neu in Spark und Spark Streaming. Ich arbeite an Twitter-Streaming-Daten. Meine Aufgabe besteht darin, jeden Tweet unabhängig zu behandeln, z. B. die Anzahl der Wörter in jedem Tweet zu zählen. Von dem, was ich gelesen habe, jede Eingabe Batch bildet auf RDD in Spark Streaming. Wenn ich also ein Stapelintervall von 2 Sekunden gebe, dann enthält die neue RDD alle Tweets für zwei Sekunden und jede angewendete Transformation wird auf ganze zwei Sekunden Daten angewendet, und es gibt keine Möglichkeit, innerhalb dieser zwei Sekunden mit einzelnen Tweets umzugehen. Ist mein Verständnis richtig? oder bildet jeder Tweet eine neue RDD? Ich bin irgendwie verwirrt ...

Answer 1

In einer Charge haben Sie eine RDD mit allen Status, die in 2 Sekunden Intervall kam. Dann können Sie diese Status einzeln verarbeiten. Hier ein kurzes Beispiel:

JavaDStream<Status> inputDStream = TwitterUtils.createStream(ctx, new OAuthAuthorization(builder.build()), filters); 

     inputDStream.foreach(new Function2<JavaRDD<Status>,Time,Void>(){ 
      @Override 
      public Void call(JavaRDD<Status> status, Time time) throws Exception { 
       List<Status> statuses=status.collect(); 
       for(Status st:statuses){ 
        System.out.println("STATUS:"+st.getText()+" user:"+st.getUser().getId());      
       //Process and store status somewhere 
       } 
       return null; 
      }});   
    ctx.start(); 
     ctx.awaitTermination();  
} 

Ich hoffe, ich habe Ihre Frage nicht falsch verstanden.

Zoran