Spark CSV lesen/schreiben für leeres Feld

Question

Ich möchte durch leeres Feld von Dataframe als leer schreiben, aber es schreibt immer als NULL. Ich möchte NULLS schreiben als ? und leer als leer/leer. Gleiches beim Lesen von einem CSV.

val df = sqlContext.createDataFrame(Seq(
    (0, "a"), 
    (1, "b"), 
    (2, "c"), 
    (3, ""), 
    (4, null) 
))  

scala> df.show 

| 0| a| 
| 1| b| 
| 2| c| 
| 3| | 
| 4|null| 
+---+----+ 

df.write.mode(SaveMode.Overwrite).format("com.databricks.spark.csv").option("nullValue","?").save("/xxxxx/test_out") 

written output : 

0,a 
1,b 
2,c 
3,? 
4,? 
.option("treatEmptyValuesAsNulls" , "false") 

Diese Option funktioniert nicht.

Ich brauche die leer wie leer

0,a 
1,b 
2,c 
3, 
4,? 

Answer 1

Versuchen SQL-

Ich bin mit 2.2 Funken mit zu schreiben.

val ds= sqlContext.sql("select `_1`, case when `_2` is not null then `_2` else case when `_2` is null then '?' else case when `_2` = '' then '' end end end as val "+ 
     "from global_temp.test"); 

    ds.write.csv("<output path>");