Explicit Besetzung mit Fallklasse Funken Lesen .csv 2.1.0

Question

Ich habe die folgende Fallklasse:

case class OrderDetails(OrderID : String, ProductID : String, UnitPrice : Double, 
        Qty : Int, Discount : Double) 

Ich versuche, diese csv lesen: https://github.com/xsankar/fdps-v3/blob/master/data/NW-Order-Details.csv

Dies ist mein Code:

val spark = SparkSession.builder.master(sparkMaster).appName(sparkAppName).getOrCreate() 
import spark.implicits._ 
val orderDetails = spark.read.option("header","true").csv(inputFiles + "NW-Order-Details.csv").as[OrderDetails] 

Und der Fehler ist:

Exception in thread "main" org.apache.spark.sql.AnalysisException: 
Cannot up cast `UnitPrice` from string to double as it may truncate 
The type path of the target object is: 
    - field (class: "scala.Double", name: "UnitPrice") 
    - root class: "es.own3dh2so4.OrderDetails" 
You can either add an explicit cast to the input data or choose a higher precision type of the field in the target object; 

Warum kann es nicht transformiert werden, wenn alle Felder "Doppel" -Werte sind? Was versteh ich nicht?

Spark-Version 2.1.0, Scala Version 2.11.7

Answer 1

Sie müssen nur explizit auf ein Feld Ihres Double würfe

val orderDetails = spark.read 
    .option("header","true") 
    .csv(inputFiles + "NW-Order-Details.csv") 
    .withColumn("unitPrice", 'UnitPrice.cast(DoubleType)) 
    .as[OrderDetails] 

Auf einer Seite zur Kenntnis, von Scala (und Java) Konvention Ihr Fall Klassenkonstruktors Parameter niedriger Kamel Fall sein sollte:

case class OrderDetails(orderID: String, 
         productID: String, 
         unitPrice: Double, 
         qty: Int, 
         discount: Double)