CSV-Import mit zwei Trennzeichen Pandas

Question

Ich habe eine CSV mit zwei Trennzeichen (;) und (,) sieht das so aus:

vin;vorgangid;eventkm;D_8_lamsoni_w_time;D_8_lamsoni_w_value 
V345578;295234545;13;-1000.0,-980.0;7.9921875,11.984375 
V346670;329781064;13;-960.0,-940.0;7.9921875,11.984375 

ich es in einen Pandas Datenrahmen importieren möchten, mit dem (;) als Trennzeichen und (,) als Trennzeichen für list oder mit float als Datentyp. Bisher benutze ich diese Methode, aber ich bin mir sicher, dass es da draußen etwas einfacher gibt.

aa=0; 
csv_import=pd.read_csv(folder+FileName, ';') 
for col in csv_import.columns: 
aa=aa+1 
if type(csv_import[col][0])== str and aa>3: 
    # string to list of strings 
    csv_import[col]=csv_import[col].apply(lambda x:x.split(',')) 
    # make the list of stings into a list of floats 
    csv_import[col]=csv_import[col].apply(lambda x: [float(y) for y in x]) 

Answer 1

Asides fr om die anderen feinen Antworten hier, die mehr Pandas-spezifische sind, sollte beachtet werden, dass Python selbst ziemlich mächtig ist, wenn es um die String-Verarbeitung kommt. Sie können nur das Ergebnis platzieren ';' mit ',' in einem StringIO Objekt zu ersetzen, und die Arbeit normalerweise von dort:

In [8]: import pandas as pd 

In [9]: from cStringIO import StringIO 

In [10]: pd.read_csv(StringIO(''.join(l.replace(';', ',') for l in open('stuff.csv')))) 
Out[10]: 
        vin vorgangid eventkm D_8_lamsoni_w_time \ 
V345578 295234545 13 -1000.0 -980.0   7.992188 
V346670 329781064 13  -960.0 -940.0   7.992188 

        D_8_lamsoni_w_value 
V345578 295234545   11.984375 
V346670 329781064   11.984375 

Answer 2

erste CSV Lese ; als Trennzeichen verwenden:

df = pd.read_csv(filename, sep=';') 

UPDATE:

In [67]: num_cols = df.columns.difference(['vin','vorgangid','eventkm']) 

In [68]: num_cols 
Out[68]: Index(['D_8_lamsoni_w_time', 'D_8_lamsoni_w_value'], dtype='object') 

In [69]: df[num_cols] = (df[num_cols].apply(lambda x: x.str.split(',', expand=True) 
    ....:            .stack() 
    ....:            .astype(float) 
    ....:            .unstack() 
    ....:            .values.tolist()) 
    ....:    ) 

In [70]: df 
Out[70]: 
     vin vorgangid eventkm D_8_lamsoni_w_time  D_8_lamsoni_w_value 
0 V345578 295234545  13 [-1000.0, -980.0] [7.9921875, 11.984375] 
1 V346670 329781064  13 [-960.0, -940.0] [7.9921875, 11.984375] 

In [71]: type(df.loc[0, 'D_8_lamsoni_w_value'][0]) 
Out[71]: float 

ALTE Antwort:

Jetzt können wir Zahlen aufgeteilt in Liste Einrichtungen in der "Nummer" Spalten:

In [20]: df[['D_8_lamsoni_w_time', 'D_8_lamsoni_w_value']] = \ 
    df[['D_8_lamsoni_w_time', 'D_8_lamsoni_w_value']].apply(lambda x: x.str.split(',')) 
In [21]: df 
Out[21]: 
     vin vorgangid eventkm D_8_lamsoni_w_time  D_8_lamsoni_w_value 
0 V345578 295234545  13 [-1000.0, -980.0] [7.9921875, 11.984375] 
1 V346670 329781064  13 [-960.0, -940.0] [7.9921875, 11.984375] 

Answer 3

Sie können Parameter verwenden converters in read_csv und benutzerdefinierte Funktion für spliting definieren:

def f(x): 
    return [float(i) for i in x.split(',')] 

#after testing replace io.StringIO(temp) to filename 
df = pd.read_csv(io.StringIO(temp), 
       sep=";", 
       converters={'D_8_lamsoni_w_time':f, 'D_8_lamsoni_w_value':f}) 
print (df) 
     vin vorgangid eventkm D_8_lamsoni_w_time  D_8_lamsoni_w_value 
0 V345578 295234545  13 [-1000.0, -980.0] [7.9921875, 11.984375] 
1 V346670 329781064  13 [-960.0, -940.0] [7.9921875, 11.984375] 

Eine andere Lösung mit NaN in 4. und 5. Spalten arbeiten:

Sie können read_csv mit Separatoren ; verwenden und dann str.split auf 4. undanwendenSpalte von iloc ausgewählt und jeder Wert in list konvertieren float:

import pandas as pd 
import numpy as np 
import io 

temp=u"""vin;vorgangid;eventkm;D_8_lamsoni_w_time;D_8_lamsoni_w_value 
V345578;295234545;13;-1000.0,-980.0;7.9921875,11.984375 
V346670;329781064;13;-960.0,-940.0;7.9921875,11.984375""" 
#after testing replace io.StringIO(temp) to filename 
df = pd.read_csv(io.StringIO(temp), sep=";") 

print (df) 
     vin vorgangid eventkm D_8_lamsoni_w_time D_8_lamsoni_w_value 
0 V345578 295234545  13  -1000.0,-980.0 7.9921875,11.984375 
1 V346670 329781064  13  -960.0,-940.0 7.9921875,11.984375 

#split 4.th and 5th column and convert to numpy array 
df.iloc[:,3] = df.iloc[:,3].str.split(',').apply(lambda x: [float(i) for i in x]) 
df.iloc[:,4] = df.iloc[:,4].str.split(',').apply(lambda x: [float(i) for i in x]) 
print (df) 
     vin vorgangid eventkm D_8_lamsoni_w_time  D_8_lamsoni_w_value 
0 V345578 295234545  13 [-1000.0, -980.0] [7.9921875, 11.984375] 
1 V346670 329781064  13 [-960.0, -940.0] [7.9921875, 11.984375] 

Wenn Bedarf numpy arrays statt lists:

#split 4.th and 5th column and convert to numpy array 
df.iloc[:,3] = df.iloc[:,3].str.split(',').apply(lambda x: np.array([float(i) for i in x])) 
df.iloc[:,4] = df.iloc[:,4].str.split(',').apply(lambda x: np.array([float(i) for i in x])) 
print (df) 
     vin vorgangid eventkm D_8_lamsoni_w_time  D_8_lamsoni_w_value 
0 V345578 295234545  13 [-1000.0, -980.0] [7.9921875, 11.984375] 
1 V346670 329781064  13 [-960.0, -940.0] [7.9921875, 11.984375] 

print (type(df.iloc[0,3])) 
<class 'numpy.ndarray'> 

---

Ich versuche Ihre solutiuon zu verbessern:

a=0; 
csv_import=pd.read_csv(folder+FileName, ';') 
for col in csv_import.columns: 
    a += 1 
    if type(csv_import.ix[0, col])== str and a>3: 
     # string to list of strings 
     csv_import[col]=csv_import[col].apply(lambda x: [float(y) for y in x.split(',')])