Spark DataSet Datum Zeit Parsing

Question

Wie sollte ich Datum Zeit Parsing mit Spark 2.0 Dataset API richtig durchführen?

Es gibt viele Proben für Datenrahmen/RDD wie

• Spark date parsing
• Better way to convert a string field into timestamp in Spark
• How to change the column type from String to Date in DataFrames?

eine Klasse wie

case class MyClass(myField:java.sql.Datetime) 

val mynewDf = spark.read 
    .option("header", "true") 
    .option("inferSchema", "true") 
    .option("charset", "UTF-8") 
    .option("delimiter", ",") 
    .csv("pathToFile.csv") 
    .as[MyClass] 

Ist nicht genug, um den Typ zu werfen. Wie soll ich das mit der Datensatz-API richtig machen?

bearbeiten

das Laden der Daten funktioniert. Z.B. ein print schema zeigt myDateFiled: timestamp (nullable = true) Aber ein myDf.show führt zu einer

java.lang.IllegalArgumentException 
     at java.sql.Date.valueOf(Date.java:143) 

, die mich führen zu glauben, dass meine Analyse der Daten falsch war. Wie kann das sein?

Answer 1

Eine korrekte Darstellung eines Zeitstempel ist java.sql.Timestamp so Klasse sollte als

case class MyClass(myField: java.sql.Timestamp) 

mit coressponding Daten definiert werden:

myField 
"2016-01-01 00:00:03" 

Wenn diese Bedingungen erfüllt sind alles, was Sie tun müssen, ist Schema zu schaffen, :

spark.read 
    .options(Map("header" -> "true")) 
    .schema(StructType(Seq(StructField("myField", TimestampType, false)))) 
    .csv(...) 
    .as[MyClass] 

Alternative ist möglich e Datumsformat mit dateFormat mit SimpleDateFormat string.

Schema-Definition kann vor .as[MyClass] mit Typ-Casting ersetzt:

spark.read 
    .options(Map("header" -> "true")) 
    .csv(...) 
    .withColumn("myField", $"myField".cast("timestamp")) 
    .as[MyClass] 

Für DateType Verwendung java.sql.Date.