Python Pandas parallel Verarbeitung mit jugs TaskGenerator

Question

Ich versuche, ein Pandas Datenframe zu lesen und bestimmte Operationen durchzuführen und den Datenrahmen zurückgeben. Ich möchte auch die Operation multiprozessieren, um mehrere Kerne zu nutzen, die mein System hat.

import pandas as pd 
import re 
from jug import TaskGenerator 
@TaskGenerator 
def find_replace(input_path_find): 
    start_time = time.clock() 
    df_find = pd.read_csv(input_path_find) 
    df_find.currentTitle=df_find.currentTitle.str.replace(r"[^a-zA-Z0-9`~!|@#%&_}={:\"\];<>,./. -]",r'') 
    #extra space 
    df_find.currentTitle=df_find.currentTitle.str.replace('\s+', ' ') 
    #length 
    df_find['currentTitle_sort'] = df_find.currentTitle.str.len() 
    #sort 
    df_find = df_find.sort_values(by='currentTitle_sort',ascending=0) 
    #reindx 
    df_find.reset_index(drop=True,inplace=True) 
    del df_find['currentTitle_sort'] 
    return df_find 

Wenn ich die Parameter übergeben, die CSV-Datei ist i

df_returned = find_replace('C:\\Users\\Dell\\Downloads\\Find_Replace_in_this_v1.csv') 

Ich erhalte einige seltsame Ausgabe

find_replace 
Task(__main__.find_replace, args=('C:\\Users\\Dell\\Downloads\\Find_Replace_in_this_v1.csv',), kwargs={}) 
    In [ ]: 

Jede Hilfe verarbeiten wollen? Ich möchte im Grunde die Ausgabe von der Funktion speichern

Ich habe bereits die Antwort überprüft und es hat nicht funktioniert. Außerdem verwende ich Pythono 2.7 und Anaconda IDE Pandas memoization

Answer 1

Dies ist ein Missverständnis, wie jug funktioniert. Das Ergebnis, das Sie bekommen, ist in der Tat ein Task Objekt, das Sie ausführen können: df_returned.run().

Normalerweise hätten Sie dieses Skript jedoch in einer Datei (z. B. analysis.py) gespeichert und jug execute analysis.py aufgerufen, um die Aufgaben auszuführen.