Spark Streaming: Aktualisierbare Ergebnismenge für die Stream-Verarbeitungslogik verfügbar machen

Question

In einer Spark-Streaming-Anwendung gibt es eine externe Datenquelle (relationale Datenbank), die ich alle 10 Minuten abfragen und die Ergebnisse für meine Stream-Verarbeitungspipeline bereitstellen muss.

Ich verstehe nicht ganz, was der richtige Weg ist, es zu tun. nur Accumulators werden hängen (wie in der Dokumentation beschrieben), aber ich fand dies:

/** 
    * Set the accumulator's value; only allowed on master 
    */ 
    def setValue(newValue: R) { 
    this.value = newValue 
    } 

und Broadcast variables sind nur write-once https://spark.apache.org/docs/1.6.2/programming-guide.html#broadcast-variables

Die Planung Aspekt mir auch nicht klar.

Gibt es eine Möglichkeit, aktualisierte Ergebnismenge für die Stream-Verarbeitungslogik verfügbar zu machen?

PS Es scheint sehr ähnlich zu sein, was ich brauche How can I update a broadcast variable in spark streaming?

Answer 1

ich das in Java speichern tue, und es ist recht funktioniert. Es gibt ähnliche Antwort hier Updating a global variable periodically in Spark und auch in Frage erwähnt

public Broadcast<Map<String, List<String>>> updateBroadcastVariable(
    SparkContext sparkContext, DatabaseService databaseService) { 
Date d = Calendar.getInstance().getTime(); 
long diff = d.getTime()-mysqlLastUpdatedAt.getTime(); 
if (updatedVar == null || diff > 60000) { 
    if (var != null) 
    updatedVar.unpersist(); 
    mysqlLastUpdatedAt = new Date(System.currentTimeMillis()); 
    Map<String, List<String>> map = new LinkedHashMap<>(); 

    List<String> dbData = databaseService.refreshData(JavaSparkContext.fromSparkContext(sparkContext)); 
    } 
    updatedVar = JavaSparkContext.fromSparkContext(sparkContext).broadcast(dbData); 
} 
return updatedVar; 
}