2016-11-21 3 views
0

mit dem Fehler Schlagen, wenn ich versuche die CSV-Datei .Ich ist mit Funken 1.6.1 hier zu lesen ist mein CodeProblem mit Funken csv auf Funken Lesen 1.6.1

val reftable_df = sqlContext.read 
    .format("com.databricks.spark.csv") 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .load("/home/hadoop1/Reference_Currencyctoff.csv") 
    reftable_df.show() 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat 
     at com.databricks.spark.csv.package$.<init>(package.scala:27) 
     at com.databricks.spark.csv.package$.<clinit>(package.scala) 
     at com.databricks.spark.csv.CsvRelation.inferSchema(CsvRelation.scala:218) 
     at com.databricks.spark.csv.CsvRelation.<init>(CsvRelation.scala:72) 
     at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:157) 
     at com.databricks.spark.csv.DefaultSource.createRelation(DefaultSource.scala:44) 
     at org.apache.spark.sql.execution.datasources.ResolvedDataSource$.apply(ResolvedDataSource.scala:158) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:119) 
     at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:109) 
     at scb.HBaseBroadcast$.main(HBaseBroadcast.scala:138) 
     at scb.HBaseBroadcast.main(HBaseBroadcast.scala) 

Hinweis: Bereits ich müde mit folgenden CSV Abhängigkeiten

Spark-Csv »1.3.0 Spark-Csv» 1.3.1 Spark-Csv »1.4.0 Spark-Csv» 1.5.0

Dank!

Antwort

1

ich konfrontierte gleiche Ausgabe

--jars /path/to/spark-csv.jar,/path/to/commons-csv.jar 

das Problem gelöst.

commons-csv.jar hat diese Klasse

Sie die Klasse sehen jar -tvf commons-csv.jar | grep CSVFormat

0

versuchen, diese beim Starten Funken Shell

bin/spark-shell --packages com.databricks:spark-csv_2.10:1.5.0 

umfassen dieses Paket

mit