Pandas als schnelle Datenspeicher für Flask-Anwendung

Question

Ich bin beeindruckt von der Geschwindigkeit der laufenden Transformationen, Ladedaten und Benutzerfreundlichkeit von Pandas und möchte all diese netten Eigenschaften (unter anderem) nutzen, um einige große Datensätze zu modellieren (~ 100-200k Zeilen, < 20 Spalten). Ziel ist es, mit den Daten einiger Rechnerknoten zu arbeiten, aber auch über Flask einen Blick auf die Datensätze in einem Browser zu ermöglichen.

Ich benutze derzeit eine Postgres-Datenbank, um die Daten zu speichern, aber der Import (aus csv-Dateien) der Daten ist langsam, mühsam und fehleranfällig und die Daten aus der Datenbank und die Verarbeitung ist nicht viel einfacher. Die Daten werden niemals nach dem Import geändert (keine CRUD-Operationen), daher dachte ich, dass es ideal ist, um es als mehrere Pandas DataFrame (im Format hdf5 gespeichert und über Pytables geladen) zu speichern.

Die Frage ist:

(1) Ist das eine gute Idee, und was sind die Dinge zu achten? (Ich erwarte zum Beispiel keine Nebenläufigkeitsprobleme, da DataFrame s (sollte?) Staatenlos und unveränderlich sein sollten (von der Anwendungsseite aus erledigt)). Worauf muss noch geachtet werden?

(2) Wie gehe ich vor, um die Daten nach dem Laden aus der hdf5-Datei in eine DataFrame zwischenzuspeichern, sodass sie nicht für jede Clientanforderung geladen werden muss (mindestens die neuesten/häufigsten Datenframes). Flask (oder werkzeug) hat eine SimpleCaching Klasse, aber intern werden die Daten gepickt und die zwischengespeicherten Daten beim Zugriff entfernt. Ich frage mich, ob dies in meinem speziellen Fall notwendig ist (vorausgesetzt, das zwischengespeicherte Objekt ist unveränderlich). Ist eine solche einfache Caching-Methode auch anwendbar, wenn das System mit Gunicorn bereitgestellt wird (ist es möglich, statische Daten (den Cache) zu haben und können gleichzeitige (unterschiedliche Prozesse?) Anfragen auf den gleichen Cache zugreifen?).

Ich weiß, das sind viele Fragen, aber bevor ich mehr Zeit investieren und einen Proof-of-Concept erstellen, dachte ich, ich bekomme hier ein Feedback. Irgendwelche Gedanken sind willkommen.

Answer 1

Antworten auf einige Aspekte, was Sie fragen: nur

Es ist nicht ganz von Ihrer Beschreibung klar, ob die Tabellen in der SQL-Datenbank haben, als HDF5 Dateien oder beides gespeichert. Wenn Sie Python 2.x verwenden und die Dateien über die HDFStore-Klasse von Pandas erstellen, werden alle Zeichenfolgen ausgewählt, was zu ziemlich großen Dateien führt. Sie können Pandas DataFrames auch direkt aus SQL-Abfragen generieren, z. B. mit read_sql.

Wenn Sie keine relationalen Operationen benötigen, würde ich sagen, Graben Sie den Postgre-Server, wenn es bereits eingerichtet ist und Sie benötigen, dass in Zukunft weiterhin den SQL-Server verwenden. Das Schöne am Server ist, dass selbst wenn Sie keine Nebenläufigkeitsprobleme erwarten, diese automatisch mit (Flask-) SQLAlchemy behandelt werden, was Ihnen weniger Kopfschmerzen bereitet. Wenn Sie jemals mehr Tabellen (Dateien) hinzufügen möchten, ist es im Allgemeinen weniger problematisch, einen zentralen Datenbankserver zu haben, als wenn mehrere Dateien herumliegen.

Egal, wie Sie gehen, Flask-Cache wird Ihr Freund sein, entweder mit einem memcached oder einem redis Backend. Sie können dann die Funktion, die einen vorbereiteten DataFrame aus einer SQL- oder HDF5-Datei zurückgibt, zwischenspeichern/memoisieren. Darüber hinaus können Sie auch Vorlagen zwischenspeichern, die möglicherweise bei der Anzeige großer Tabellen eine Rolle spielen.

Sie könnten natürlich auch eine globale Variable generieren, zum Beispiel wo Sie die Flask App erstellen und diese einfach dort importieren, wo sie benötigt wird. Ich habe das nicht ausprobiert und würde es daher nicht empfehlen. Es kann alle Arten von Nebenläufigkeitsproblemen verursachen.