Pandas to_csv und from_csv, die Anzahl der reords

Question

Mismatch Ich habe dieses merkwürdige Problem mit Pandas (Python 3.5)

ich einen Datenrahmen speichere in CSV und dann die gleiche Datei wieder in einen Datenrahmen zu lesen. Ich erhalte eine unterschiedliche Anzahl von Datensätzen im neuen Datenrahmen. Das Merkwürdige ist, dass die Anzahl der Datensätze gestiegen ist !!

data_n.to_csv('file1.csv') 

data_n1=pd.read_csv('file1.csv') 

print (len(data_n),len(data_n1),len(data_n1)-len(data_n)) 

206637 208299 1662 

---

Hier ist ein Code, der das Problem demonstriert:

import pandas as pd 

orig = pd.DataFrame({'url':['foo\rbar', 'baz'], 'col':[1, 2]}) 
orig['idx'] = range(len(orig)) 
print(orig) 
# col  url idx 
# 0 1 foo\rbar 0 
# 1 2  baz 1 
orig.to_csv('/tmp/file1.csv') 

new = pd.read_csv('/tmp/file1.csv') 
print(new) 
# Unnamed: 0 col url idx 
# 0   0 1 foo NaN 
# 1  bar 0 NaN NaN 
# 2   1 2 baz 1.0 

Answer 1

Der Parser CSV genannt durch pd.read_csv interpretiert ein unquoted \r als End-of-line. Um das \r davor zu schützen, als Zeilenende interpretiert zu werden, übergeben Sie quoting=csv.QUOTE_NONNUMERIC oder quoting=csv.QUOTE_ALL an den to_csv Aufruf. Um Pandas zu erzählen die erste Spalte als Index zu interpretieren, übergeben index_col=0-pd.read_csv:

import csv 
import pandas as pd 

orig = pd.DataFrame({'url':['foo\rbar', 'baz'], 'col':[1, 2]}) 
orig['idx'] = range(len(orig)) 
print(orig) 
# col  url idx 
# 0 1 foo\rbar 0 
# 1 2  baz 1 
orig.to_csv('/tmp/file1.csv', quoting=csv.QUOTE_NONNUMERIC) 

new = pd.read_csv('/tmp/file1.csv', index_col=0) 
print(new) 
# col  url idx 
# 0 1 foo\rbar 0 
# 1 2  baz 1 

Alternativ, wenn Sie nicht benötigen oder wünschen orig.index zu behalten, Sie den Index aus der CSV weglassen könnte mit

orig.to_csv('/tmp/file1.csv', quoting=csv.QUOTE_NONNUMERIC, index=False) 
new = pd.read_csv('/tmp/file1.csv')