Ich muss bis zu 500.000 Einträge für den schnellsten Lesevorgang indizieren. Der Index muss regelmäßig auf der Festplatte neu erstellt werden. Ich versuche, zwischen einer einfachen Datei wie einem Hash auf Datenträger oder einer einzelnen Tabelle in einer eingebetteten Datenbank zu entscheiden. Ich brauche keine RDBMS-Engine.Was ist der beste Weg, um einen Index zu erstellen, um die schnellste Leseantwort zu erhalten?
Ich gehe davon aus, Sie beziehen sich auf Indizierung Tabellen auf einem relationalen DBMS (wie mySql, Oracle oder Postgres).
Indizes sind sekundäre Datenspeicher, die eine Teilmenge von Feldern für eine Tabelle in einer bestimmten Reihenfolge speichern.
Wenn Sie einen Index erstellen, wird jede Abfrage, die die Teilmenge von Feldern enthält, die in ihrer WHERE-Klausel indiziert sind, schneller ausgeführt.
Durch das Hinzufügen von Indizes wird jedoch die INSERT-Leistung reduziert.
Im Allgemeinen müssen Indizes nicht neu erstellt werden, es sei denn, sie werden beschädigt. Sie sollten im laufenden Betrieb von Ihrem DBMS verwaltet werden.
Wenn die Daten nicht vollständig aktuell sein müssen, sollten Sie auch über ein Data Warehousing-Tool für OLAP-Zwecke nachdenken (z. B. MSOLAP). Sie können blitzschnelle schreibgeschützte Abfragen basierend auf vorberechneten Daten durchführen.
Vielleicht BDB? Es ist eine hohe Leistung. Datenbank, die kein DBMS verwendet.
Wenn Sie Zustandsobjekte mit Schlüssel speichern, wie wäre es mit Berkeley DB.
cdb wenn sich die Daten nicht ändern.
/Allan
PyTables Pro behauptet, dass „für Situationen, die schnellen Änderungen oder Löschungen nicht benötigen, OPSI ist wahrscheinlich eines der besten Indizierung Motoren zur Verfügung“. Ich habe jedoch nicht persönlich daran gewöhnt, aber die F/OSS-Version von PyTables gibt bereits gibt Ihnen eine gute Leistung:
Was ist das? Ist dies innerhalb eines Datenbankverwaltungssystems (MySQL, etc.?) Indexieren Sie flache Dateien auf der Festplatte? Sind sie binär oder ASCII? Was ist los? –
Es kann eine flache Datei sein. Einträge sind ASCII und bis zu 512 Zeichen. Ich muss speichern und ein Zustandsattribut erhalten. – Notitze