Python - Erhöhen lesen/ändern/schreiben Geschwindigkeit?

Question

Ich habe eine GeoJSON-Datei, die eine Aufschlüsselung eines bestimmten geografischen Gebiets in ca. enthält. 7000 Zellen. Ich möchte a) öffnen Sie dieses geoJSON b) ändern Sie einige Daten (siehe Code unten) und c) schreiben Sie dieses modifizierte geoJSON auf die Festplatte. Nun, mein Problem ist, dass es, da es viele Zellen gibt, fast eine Minute dauert. Sehen Sie irgendeine Möglichkeit, die Geschwindigkeit dieser Funktion zu verbessern? Vielen Dank!

def writeGeoJSON(param1, param2, inputdf): 
    with open('ingeo.geojson') as f: 
     data = json.load(f) 
    for feature in data['features']: 
     currentfeature = inputdf[(inputdf['SId']==feature['properties']['cellId']) & (inputdf['param1']==param1) & (inputdf['param2']==param2)] 
     if (len(currentfeature) > 0): 
      feature['properties'].update({"style": {"opacity": currentfeature.Opacity.item()}}) 
     else: 
      feature['properties'].update({"style": {"opacity": 0}}) 
    end = time.time() 
    with open('outgeo.geojson', 'w') as outfile: 
     json.dump(data, outfile) 

Answer 1

Es gibt eine seriellen Code-Optimierung möglich in Ihrem Code. Sie haben die Zeile:

currentfeature = inputdf[(inputdf['SId']==feature['properties']['cellId']) & (inputdf['param1']==param1) & (inputdf['param2']==param2 

Beachten Sie, dass die letzten beiden Kontrollen außerhalb des for Schleife gesetzt werden. Es ist eine redundante Prüfung, die für jede Iteration in der for Schleife viele CPU-Taktzyklen benötigt !!! Sie können das gleiche ändern wie:

paramMatch=inputdf['param1']==param1 & inputdf['param2']==param2 
for feature in data['features']: 
    currentfeature = inputdf[(inputdf['SId']==feature['properties']['cellId']) & paramMatch] 

, dass Ihr Programm laufen lassen müssen viel schneller!

Das heißt, wenn Sie bessere Ausführungszeiten benötigen (höchstwahrscheinlich nicht notwendig), versuchen Sie, das multiprocessing Modul zu verwenden, um den Verarbeitungsteil des Codes zu parallelisieren. Sie können versuchen, die Arbeitslast in der Schleife for zu teilen.

Probieren Sie apply_async oder map_async zu einem Block von Iterationen, um die Dinge zu beschleunigen!

Answer 2

[Neben @varun-Optimierung, einschließlich einem @ romain-aga Vorschlag.]

Fügen Sie diese am Anfang der Funktion:

zero_style = {"opacity": 0} 

Und die bedingten verändern werden:

if (len(currentfeature) > 0): 
    feature['properties']['style'] = {"opacity": currentfeature.Opacity.item()} 
else: 
    feature['properties']['style'] = zero_style 

ich habe den Eindruck, dass mehr über inputdf Art zu wissen, zu einem besseren Optimierung führen würde (vielleicht if currentfeature: lenken ist genug? vielleicht ist ? Besser)

---

CPython Unter der Annahme, erwarte ich, dass dies besser zu sein (besser um Vergebung zu bitten, als um Erlaubnis):

try: 
    value = {"opacity": currentfeature.Opacity.item()} 
except NotSureWhatExceptionMaybeAttributeError: 
    value = zero_style 
feature['properties']['style'] = value