Zurückgeben von JSON aus Postgres ist langsam

Question

Ich habe eine Tabelle in Postgres mit einer JSONB-Spalte, jede Zeile der Tabelle enthält ein großes JSONB-Objekt (~ 4500 Schlüssel, JSON-Zeichenfolge ist etwa 110 KB in einer TXT-Datei). Ich möchte diese Zeilen abfragen und das gesamte JSONB-Objekt abrufen.

Die Abfrage ist schnell - wenn ich EXPLAIN ANALYZE ausführen oder die JSONB-Spalte weglassen, wird in 100-300 ms zurückgegeben. Aber wenn ich die vollständige Abfrage ausführe, dauert es in der Größenordnung von Minuten. Die gleiche Abfrage auf einer früheren Version der Daten war auch schnell (jeder JSONB war etwa halb so groß).

Einige Anmerkungen:

• Dieser endet in Python oben (über SQLAlchemy/psycopg2). Ich mache mir Sorgen, dass der Abfrage-Executor JSONB in ​​JSON konvertiert, dann wird er für die Übertragung über den Draht in Text codiert und dann am Python-Ende wieder JSON-codiert. Ist das korrekt? Wenn ja, wie könnte ich dieses Problem mildern? Wenn ich die JSONB-Spalte als ::text auswähle, ist die Abfrage ungefähr doppelt so schnell.

• Ich brauche nur eine kleine Teilmenge des JSON (ca. 300 Schlüssel oder 6% der Schlüssel). Ich habe versucht, die JSON-Ausgabe in der Abfrage zu filtern, aber sie verursachte einen erheblichen weiteren Leistungseinbruch - es war schneller, das gesamte Objekt zurückzugeben.

Answer 1

Dies ist nicht unbedingt eine Lösung ist, aber hier ist ein Update:

Durch die JSON Spalte text in der Postgres Abfrage Gießen, konnte ich auf dem Abrufen der Ausführung der Abfrage und Ergebnisse wesentlich abgeholzt Python Ende.

Auf der Python-Ende, mich json.loads für jede einzelne Zeile in der Ergebnismenge tun, bringt mich zum genauen Zeitpunkt als mit der regulären Abfrage. Mit der Bibliothek ujson konnte ich jedoch eine signifikante Beschleunigung erzielen. Die Leistung des Umwandelns in Text in der Abfrage und das anschließende Aufrufen von ujson.loads auf dem Python-Ende ist ungefähr 3x schneller als das einfache Zurückgeben von JSON in der Abfrage.