Vorschläge, um mehrere Python Pandas Skripte zu behandeln

Question

Ich habe derzeit mehrere Python Pandas Skripte, die ich getrennt wegen 1) Lesbarkeit und 2) manchmal bin ich interessiert an der Ausgabe dieser teilweise einzelne Skripte.

Im Allgemeinen ist die CSV-Dateiausgabe eines dieser Skripts die CSV-Eingabe des nächsten und in jedem muss ich die Datumswerte neu lesen, was unbequem ist.

Welche Best Practices schlagen Sie für diese Aufgabe vor? Ist es besser, alle Skripte nur dann zu kombinieren, wenn ich daran interessiert bin, das gesamte Programm auszuführen, oder gibt es eine weitere Python/Pandas-Methode, um damit umzugehen?

danke und ich schätze alle Ihre Kommentare,

Answer 1

Statt eine CSV-Ausgabe des Schreibens, die Sie neu zu analysieren haben, können Sie die pandas.DataFrame in effizienter Binärformat mit den Methoden pandas.DataFrame.to_pickle() und pandas.read_pickle(), schreiben und lesen bzw. .

Answer 2

Wenn ich Ihre Frage gut verstehe, wäre die Verwendung von Modulen der beste Ansatz für mich.

Sie können Ihre Skripts getrennt aufbewahren und sie bei Bedarf in ein abhängiges Skript als Module importieren. Zum Beispiel:

Script 1:

import pandas 

def create_pandas_dataframe(): 
    # Creating a dataframe ... 
    df = pandas.DataFrame() 
    return df 

def run(): 
    # Run the script 1 
    df = create_pandas_dataframe() 
    # Here, call other functions specific to this script 

if __name__ == '__main__': 
    # Run the script 
    run() 

Script 2:

from script_1 import create_pandas_dataframe 

def use_pandas_dataframe(a_df): 
    print a_df 

if __name__ == '__main__': 
    df = create_pandas_dataframe() 
    use_pandas_dataframe(df) 

Auf diese Weise können Sie direkt die Ausgabe einer bestehenden Funktion als Eingabe für einen anderen verwenden, ohne sie in das Wesen das gleiche Skript.