Spark-SQL über rddToDataFrameHolder

Question

ich ein Glas codiert habe auf dem Spark läuft, ist mein Projekt Glas ist enter image description here

und mein Funke auf Hadoop ist funken 2.0.2-bin-hadoop2.7 Wenn ich laufe mein Glas enter image description here ist die Version Konflikte? folgen ist mein Code

case class VehicleInfo(vin: String, vehicle_license: String, sales_id: String) 

Objekt Change { def main (args: Array [String]): Unit = {

//txt path in hdfs 
val path = args(0) 

val sparkConf = new SparkConf().setAppName("change_status") 
val sc = new SparkContext(sparkConf) 
val sqlContext = new SQLContext(sc) 

import sqlContext.implicits._ 

val input = sc.textFile(path) 
    .map(line => line.split("\\|")) 
    .map(line => VehicleInfo(line(0), line(1), line(2))) 
    .toDF() 

input.registerTempTable("vehicle_info") 

val result_df = sqlContext.sql("select * from vehicle_info limit 10") 

result_df.show() 

} }

was ist das Problem über meine Code?

Answer 1

Das Problem ist höchstwahrscheinlich, dass Sie gegen Spark 2.0.2 laufen, aber gegen Spark 1.5.1 kompilieren. Normalerweise ist Spark ziemlich gut in Bezug auf Kompatibilität - sogar auf einer binären Ebene. Dies überschreitet jedoch die Hauptversionen und wird zwangsläufig bahnbrechende Änderungen aufweisen. Also, würde ich sagen, nur gegen 2.0.2

zu kompilieren