2010-09-15 9 views
8

Wo finde ich ein Howto zum Einrichten von elasticSearch mit Postgres?Einrichten von elasticSearch mit Postgresql

Meine Feldgrößen werden etwa 350 MB, ja, MB, jeweils in der Größe sein. Ich habe eine Textausgabe aller der US-Code und alle Entscheidungen von allen Gerichten, die Satzung im Großen, so ziemlich alles, was Sie in einer Bibliothek finden würden, und ich muss in der Lage sein, Volltextsuchen und zurückzukehren Der genaue Punkt im Feld an die App, um die genaue Seite im PDF-Format zurückgeben. Postgres kann leicht den Datenspeicher handhaben, aber ich habe nie Elasticsearch und haben keine Ahnung davon, wie es integriert sich in die Indizierung usw.

Antwort

0

Im Moment verwendet, ich glaube nicht, dass es aus der Box Integration ist. Sie müssten etwas Klebstoffcode schreiben, um Daten aus SQL zu ziehen und in elasticsearch einzureichen (oder umgekehrt).

Ich würde empfehlen, auf den Google-Gruppen Elasticsearch Foren fragen: http://groups.google.com/a/elasticsearch.com/group/users/topics?pli=1

Shay Banon, der wichtigste Faktor/Betreuer äußerst hilfreich ist.

Mit besten Grüßen, Paul

+0

Ich ging in die Google-Gruppe für elasticsearch und bekam keine Antwort; Ich entschied mich, tsearch2 zu installieren. Ich schrieb ein Bash-Skript, um die Dateien so zu lesen, wie ich sie analysieren wollte, in die Tabellen einzufügen und dann die Indizes zu aktualisieren. Letztendlich landete ich nur ein paar Millionen Datensätze, die Feldgrößen endeten viel kleiner als erwartet, weil ich den pdftk zur Umwandlung in Text verwendete und dann einen Haufen redundantes Material durch eine Fremdschlüsselbeschränkung in eine normalisierte Tabelle entfernte. Der Primärschlüssel-Cursor kommt so schnell zurück, dass er nicht wahrnehmbar ist. Ich schreibe einen Benchmark neben der Last zu simulieren. –

+0

Sehr seltsam, vielleicht ist es nicht durchgegangen? Ich sehe die Frage nicht im Forum, aber könnte es vermissen. Froh, dass ein eher kundenspezifischer Ansatz funktioniert. – ppearcy

3

Es ist eine Anwendung, die Sie SQL Server importieren verwenden können, Oracle, PostgreSQL MySQL, etc. zu einem Elasticsearch Index.

http://code.google.com/p/ogr2elasticsearch/

Bitte lassen Sie mich wissen, wenn Sie Probleme Gebäude haben oder es zu benutzen. ~ Adam

9

Ab 2015 gibt es ZomboDB (https://github.com/zombodb/zombodb). Als Autor bin ich ein bisschen voreingenommen, aber es ist ziemlich mächtig. ;)

Es ist eine Postgres-Erweiterung und ein Elasticsearch-Plugin, mit dem Sie "CREATE INDEX" s erstellen können, die einen Remote Elasticsearch-Cluster verwenden und eine ziemlich leistungsstarke Abfragesprache für Volltextsuchen zur Verfügung stellt.

Da es sich um einen tatsächlichen Index in Postgres handelt, wird der ES-Cluster automatisch synchronisiert, wenn Sie Datensätze EINFÜGEN/AKTUALISIEREN/LÖSCHEN. Daher sind keine asynchronen Synchronisationsprozesse erforderlich.

Da es sich um einen tatsächlichen Index handelt, ist es außerdem transaktionssicher, dh gleichzeitige Postgres-Sitzungen sehen nur Ergebnisse, die mit ihrer aktuellen Transaktion übereinstimmen.

Hier ist ein link zu ZomboDB Tutorial. Es sollte Ihnen eine Vorstellung davon geben, wie einfach ZomboDB zu verwenden ist.

+1

wie Bulk-Import von Postgres zu elasticsearch auf Windows mit zombodb –

+1

Sorry, ich nicht überwachen StackOverflow. ZomboDB unterstützt Windows nicht.Pull-Anfragen sind willkommen unter https://github.com/zombodb/zombodb –

Verwandte Themen