Python Dask - vertikale Verkettung von 2 Datenrahmen

Question

Ich habe folgendes Dask Datenrahmen in Python:

  A   B  C  D  E  F 
0   1   4  8  1  3  5 
1   6   6  2  2  0  0 
2   9   4  5  0  6  35 
3   0   1  7  10  9  4 
4   0   7  2  6  1  2 

Ich versuche, 2 Dask Datenrahmen zu verketten vertikal:

ddf_i = ddf + 11.5 
dd.concat([ddf,ddf_i],axis=0) 

aber ich bekomme diese Fehlermeldung:

Traceback (most recent call last): 
     ... 
     File "...", line 572, in concat 
     raise ValueError('All inputs have known divisions which cannot ' 
    ValueError: All inputs have known divisions which cannot be concatenated in order. Specify interleave_partitions=True to ignore order 

Allerdings, wenn ich versuche:

dd.concat([ddf,ddf_i],axis=0,interleave_partitions=True) 

dann scheint es zu funktionieren. Gibt es ein Problem bei der Einstellung True (in Bezug auf Leistung - Geschwindigkeit)? Oder gibt es eine andere Möglichkeit, Diek DataFrames vertikal zu verketten?

Answer 1

Wenn Sie die Unterteilungen des Datenrahmens ddf.divisions untersuchen, finden Sie unter der Annahme einer Partition, dass dort die Kanten des Index liegen: (0, 4). Dies ist nützlich für dasask, da es weiß, wenn Sie eine Operation für die Daten ausführen, und keine Partition zu verwenden, die die erforderlichen Indexwerte nicht enthält. Dies ist auch der Grund, warum manche DASC-Operationen viel schneller sind, wenn der Index für den Job geeignet ist.

Wenn Sie verketten, hat der zweite Datenrahmen den gleichen Index wie der erste. Die Verkettung würde ohne Verschachtelung funktionieren, wenn die Werte des Index unterschiedliche Bereiche in den zwei Partitionen hätten.