Funken Lesung CSV-Datei Classcast

Question

Ich beginne Funken 1.6.1 wie folgt aus:

./pyspark --master local[4] --packages com.databricks:spark-csv_2.10:1.0.3 

ich eine CSV-Datei ohne Fehler wie diese laden kann:

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('/home/SparkTest.csv') 

aber wenn ich versuche, das zu sehen Daten wie folgt aus:

df.head() 

bekomme ich Fehler wie folgt aus:

16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 5,2012-01-01,53,Lucky Charms. java.lang.ClassCastException 
16/04/07 10:41:49 ERROR CsvRelation$: Exception while parsing line: 6,2012-02-01,14,Cap'n Crunch. java.lang.ClassCastException 

Answer 1

Ich verwendete eine ältere Version der CSV-Bibliothek. Die Fehler ging weg, als ich auf dieses Argument geändert, wenn ich Funken beginnen:

--packages com.databricks:spark-csv_2.11:1.4.0