Pandas to_datetime() Funktion Performance-Probleme

Question

Haben Sie einen df wie folgt aus:

Dat 
10/01/2016 
11/01/2014 
12/02/2013 

Die Spalte 'Dat' Objekttyp hat, damit ich versuchen, es zu Datetime wechseln to_datetime() verwendet Pandas Funktion, die Art und Weise:

to_datetime_rand = partial(pd.to_datetime, format='%m/%d/%Y') 
df['DAT'] = df['DAT'].apply(to_datetime_rand) 

Alles funktioniert gut, aber ich habe Leistungsprobleme, wenn mein df höher als 2 Milliarden Zeilen ist. In diesem Fall bleibt diese Methode hängen und funktioniert nicht gut.

Funktioniert die pandas to_datetime() - Funktion mit der Möglichkeit, die Konvertierung durch Chuncks oder iterativ durch Schleifen durchzuführen.

Danke.

Answer 1

Wenn die Leistung ist ein Anliegen, ich würde Ihnen raten, die folgende Funktion zu verwenden, um diese Spalten zu date_time konvertieren:

def lookup(s): 
    """ 
    This is an extremely fast approach to datetime parsing. 
    For large data, the same dates are often repeated. Rather than 
    re-parse these, we store all unique dates, parse them, and 
    use a lookup to convert all dates. 
    """ 
    dates = {date:pd.to_datetime(date) for date in s.unique()} 
    return s.apply(lambda v: dates[v]) 

to_datetime: 5799 ms 
dateutil: 5162 ms 
strptime: 1651 ms 
manual:  242 ms 
lookup:  32 ms 

Answer 2

Sie in Stücke Ihre riesigen Datenrahmen in kleinere aufspalten könnte, zum Beispiel kann diese Methode es tun, wo Sie entscheiden können, was die Chunk-Größe ist:

def splitDataFrameIntoSmaller(df, chunkSize = 10000): 
    listOfDf = list() 
    numberChunks = len(df) // chunkSize + 1 
    for i in range(numberChunks): 
     listOfDf.append(df[i*chunkSize:(i+1)*chunkSize]) 
    return listOfDf 

Nachdem Sie Chunks haben, können Sie die Datetime-Funktion für jeden Chunk separat anwenden.

Answer 3

Ich bin gerade selbst auf dasselbe Problem gestoßen. Danke an SerialDev für die ausgezeichnete Antwort. Um darauf zu aufbauen, habe ich versucht, datetime.strptime statt pd.to_datetime mit:

from datetime import datetime as dt 

dates = {date : dt.strptime(date, '%m/%d/%Y') for date in df['DAT'].unique()} 
df['DAT'] = df['DAT'].apply(lambda v: dates[v]) 

Die strptime Methode war 6,5x schneller als die to_datetime Methode für mich.