Ist es möglich, ein OpenRefine-Skript im Hintergrund auszuführen?

Question

Kann ich ein OpenRefine-Skript auslösen, das ohne Benutzerinteraktion im Hintergrund ausgeführt wird? Verwenden Sie möglicherweise einen Windows-Dienst, um eine OpenRefine-Konfigurationsdatei zu laden oder den OpenRefine-Webserver mit Parametern zu starten und die Ausgabe zu speichern?

Wir analysieren verschiedene Datenquellen aus Dateien und platzieren die Ausgabe in bestimmte Tabellen und Felder in SQL Server. Wir haben eine sehr alte Anwendung, die diese "Übereinstimmungsmuster" erzeugt und sie durch etwas moderneres ersetzen möchte. Geschwindigkeit ist wichtig, aber nicht kritisch. Wir analysieren Dateien mit typischerweise 5 bis 1.000.000 Zeilen.

Ich könnte mit OpenRefine in die falsche Richtung gehen, wenn ja, lass es mich wissen. Unser Support-Team, das diese "Übereinstimmungsmuster" erstellt, wäre am besten mit einer Benutzeroberfläche wie OpenRefine geeignet, anstatt Perl- oder Python-Skripte zu schreiben.

Danke für Ihre Hilfe.

Answer 1

OpenRefine verfügt über eine Bibliothek, mit der Sie einen vorhandenen Job automatisieren können. Zur Auswahl stehen: * zwei in Python here und here * ein in ruby * ein in nodejs

diese Bibliotheken benötigt zwei Eingänge:

1. eine Quelldatei in OpenRefine verarbeitet werden
2. die OpenRefine-Operation im JSON-Format.

Bei RefinePro (Disclaimer Ich bin der Gründer und CEO von RefinePro) haben wir einige zusätzliche Wrapper planen geschrieben das Ergebnis ein OpenRefine Projekt auszuwählen, extrahieren Sie die JSON-Operationen, starten Sie die Bibliothek und speichern. Der neu erstellte Job kann dann geplant werden.

Bitte beachten Sie, dass OpenRefine eine sehr schlechte Fehlerbehandlung aufweist, die die Verwendung als ETL-Plattform einschränkt.