Speicherfehler auf großer Shape-Datei in Python

Question

import shapefile 
data = shapefile.Reader("data_file.shp") 
shapes = data.shapes() 

Mein Problem ist, dass die Formen aus den Shape-Datei Lesern immer gibt mir eine Ausnahme MemoryError wenn Pyshp verwendet. Die .shp Datei ist ziemlich groß, bei 1,2 gB. Aber ich benutze nur 3% der 32gB meiner Maschine, also verstehe ich es nicht.

Gibt es einen anderen Ansatz, den ich nehmen kann? Kann die Datei in Python in Blöcken verarbeitet werden? Oder verwenden Sie ein Werkzeug, um die Datei in Ritzen zu verschütten, und bearbeiten Sie sie dann einzeln?

Answer 1

Obwohl ich es nicht testen konnte, sollte Pyshp in der Lage sein, es ungeachtet der Dateigröße oder Speichergrenzen zu lesen. Beim Erstellen der Reader Instanz wird nicht die gesamte Datei geladen, sondern nur die Headerinformationen.

Es scheint das Problem hier ist, dass Sie die shapes() Methode verwendet haben, die alle Form Informationen auf einmal in Speicher liest. Dies ist normalerweise kein Problem, aber es ist mit Dateien so groß. Als allgemeine Regel sollten Sie stattdessen die iterShapes() Methode verwenden, die jede Form nacheinander liest.

Answer 2

Zitiert aus this answer von thomas:

Die MemoryError Ausnahme, dass Sie sehen werden, ist das direkte Ergebnis aus verfügbarem RAM. Dies kann entweder durch das von Windows vorgegebene 2-GB-Pro-Programmlimit (32bit programs) oder durch das Fehlen von verfügbarem RAM auf Ihrem Computer verursacht werden. (Diese link ist zu einer vorherigen Frage). Sie sollten in der Lage sein, die 2 GB mit einer 64-Bit-Kopie von Python zu erweitern, sofern Sie eine 64-Bit-Kopie von Windows verwenden.

Also versuchen Sie eine 64-Bit-Kopie von Python oder bieten Sie mehr Details über Ihre Plattform und Python-Versionen.