Kombinieren Datenrahmen zurück aus Python Multi-Prozess-Aufruffunktion

Question

from multiprocessing import Pool 

with Pool(processes=6) as p: 
    p.starmap(update_tabl, zip(r)) 

Ich bin mit dem Ansatz hier skizziert: http://n-s-f.github.io/2016/12/23/starmap-pattern.html parallelisieren Aufruf einer Funktion update_table, die einen Datenrahmen als Ausgabe zurück.

Wie kann ich all diese Datenrahmen verketten? Ich konnte pd.concat verwenden, wenn ich eine for-Schleife wurden aber nicht sicher, wie es zu tun parallel

Answer 1

Sie können sich auf das Ergebnis der Starmap die concat tun:

with Pool(processes=6) as p: 
    res = pd.concat(p.starmap(update_table, zip(rows))) 
# do stuff with res 

Die Concat nicht passieren wird, in parallel, aber sobald die Sternenkarte fertig ist.