lesen csv-Datei in doppelte Anführungszeichen, aber mit Zeilenumbruch

Question

Ich habe csv mit Zeilenumbruch in Spalte. Im Anschluss ist mein Beispiel:

"A","B","C" 
1,"This is csv with 
newline","This is another column" 
"This is newline 
and another line","apple","cat" 

ich die Datei in Funken lesen kann, aber die Neuen-Zeile in der Spalte als eine separate Zeile behandelt.

Wie kann ich das als csv mit Text innerhalb Doppelanführungszeichen bereit.

Ich lese Datei mit beiden Apache-CSV-Plugin und nur Apache.

alarms = sc.textFile("D:\Dataset\oneday\oneday.csv") 

Das gibt mir RDD:

**example.take(5)** 

[u'A,B,C', u'1,"This is csv with ', u'newline",This is another column', u'"This is newline', u'and another line",apple,cat'] 

Spark-Version: 1.4

Answer 1

Wenn Sie Datenrahmen von csv mit Newline erstellen und durch doppelte Anführungszeichen zitiert, ohne dann neu zu erfinden Rad Funken csv und Common-csv-Bibliothek:

from pyspark.sql import SQLContext 
df = sqlContext.load(header="true",source="com.databricks.spark.csv", path = "hdfs://analytics.com.np:8020/hdp/badcsv.csv") 

Answer 2

Der csv-Modul aus der Standard-Python-Bibliothek ist es aus der Box:

>>> txt = '''"A","B","C" 
1,"This is csv with 
newline","This is another column" 
"This is newline 
and another line","apple","cat"''' 
>>> import csv 
>>> import io 
>>> with io.BytesIO(txt) as fd: 
    rd = csv.reader(fd) 
    for row in rd: 
     print row 


['A', 'B', 'C'] 
['1', 'This is csv with \nnewline', 'This is another column'] 
['This is newline\nand another line', 'apple', 'cat'] 

Dies kann verwendet werden (mit einer erheblichen Leistungseinbuße über textFile) mit binaryFiles:

>>> (sc.binaryFiles(path) 
     .values() 
     .flatMap(lambda x: csv.reader(io.BytesIO(x)))) 

Answer 3

Sie brauchen nichts zu importieren. Die unten vorgeschlagene Lösung erstellt eine zweite Datei nur zu Demonstrationszwecken. Sie können die Zeile lesen, nachdem Sie sie geändert haben, ohne sie irgendwo zu schreiben.

with open(r'C:\Users\evkouni\Desktop\test_in.csv', 'r') as fin: 
    with open(r'C:\Users\evkouni\Desktop\test_out.csv', 'w') as fout: 
     cont = fin.readlines() 
     for line in cont[:-1]: 
      if line.count('"') % 2 == 1 and '"\n' not in line: 
       line = line.replace('\n', '') 
      fout.write(line) 

#DEMO 

#test_in.csv 
#------------ 
#"A";"B";"C" 
#1;"This is csv with 
#newline";"This is another column" 
#"This is newline 

#test_out.csv 
#------------ 
#"A";"B";"C" 
#1;"This is csv with newline";"This is another column" 
#"This is newline 

Wenn etwas nicht klar für Sie ist, lassen Sie es mich bitte wissen.