Funken - Lesen Sie CSV-Datei mit Zitat

Question

Ich habe eine CSV-Datei, die Daten in doppelten Anführungszeichen enthalten haben (") 0001 " "A", "001"," 2017/01/01

." 12"

"0001", "B", "002", "2017.01.01 13"

ich mag nur reine Daten (ohne lesen "-Symbol).

spark.read 
.option("encoding", encoding) 
.option("header", header) 
.option("quote", quote) 
.option("sep", sep) 

Andere Optionen funktionieren gut, aber nur Zitat scheint nicht ordnungsgemäß zu funktionieren. Es lädt mit Zitat Symbol ("). Wie soll ich dieses Symbol nehme von geladenen Daten aus.

---

dataframe.show Ergebnis

+----+----+------+---------------+ 
| _c0| _c1| _c2|    _c3| 
+----+----+------+---------------+ 
|0001| "A"| "001"| "2017/01/01 12"| 
|0001| "B"| "002"| "2017/01/01 13"| 
+----+----+------+---------------+ 

Answer 1

können Sie Option Zitat verwenden, wie unten

option("quote", "\"") 

Wenn Sie zwischen Ihren beiden Daten einen zusätzlichen Platz als "abc", "xyz" haben, müssen Sie

01 verwenden

hoffe, das hilft

Answer 2

Ich habe ein Beispielprogramm mit databicks api erstellt und versucht, es auf Ihrem Dataset

unten Code überprüfen Sie bitte CSV-Datei

val df = spark.read.format("com.databricks.spark.csv") 
    .option("header", true) 
    .option("ignoreLeadingWhiteSpace", true) 
    .load("src/test/resources/test") 

df.show() 
+-----+------+-----+ 
|first|second|third| 
+-----+------+-----+ 
| A| 001| CCC| 
| B| 002| DDD| 
+-----+------+-----+