funken datenframe union datenframe in spark-solr

Question

ich habe viele datenframes von solr abfragen. Dieser Datenrahmen wäre Vereinigung eines Datenrahmen

var sub = sc.textFile("file:/home/zeppelin/query_term.txt") 

def qmap(filter: String, options: Map[String, String]): DataFrame = { 
    val qm = Map(
     "query" -> filter 
    ) 
    val df = sqlContext.read.format("solr").options(options).options(qm).load 
    return df 
} 

val dfs = sub.map(x => qmap(x,subject_options)).reduce((x,y) => x.unionAll(y)) 

aber es gibt einige Ausnahmen Aktion für dfs zu zählen.

Bitte geben Sie mir einige Methoden oder Gedanken, um es zu beheben. Danke.

Answer 1

ersetzen

var sub = sc.textFile("file:/home/zeppelin/query_term.txt") 

mit

var sub = sc.textFile("file:/home/zeppelin/query_term.txt").collect