Ich habe meine Daten in einem angemessenen Format, keiner der von Apache Drill unterstützt. Gibt es eine Anleitung, wie ich mein eigenes Speicher-Plugin schreiben kann, um solche Daten zu verarbeiten.Wie schreibe ich benutzerdefinierte Speicher-Plugin für Apache Drill
Dies ist etwas, das wirklich in der Dokumentation sein sollte, aber derzeit nicht ist. Die Schnittstelle ist nicht zu kompliziert, aber es kann ein bisschen viel sein, eines der vorhandenen Plugins zu betrachten und alles zu verstehen, was vor sich geht.
Es gibt zwei Hauptkomponenten zum Schreiben eines Speicher-Plugins, das Aussetzen von Informationen für den Abfrageplaner und das Schemamanagementsystem und das anschließende Implementieren der Übersetzung von der Datenquellen-API in die Drill-Record-Darstellung.
Das Kudu-Plugin wurde kürzlich hinzugefügt und ist ein vernünftiges Modell für ein Speichersystem mit vielen der Elemente, die Drill nutzen kann. Eine Sache, die ich beachten würde, ist, dass, wenn Ihr Speichersystem nicht verteilt ist und Sie nur vorhaben, alle Fernablesungen durchzuführen, Sie nicht so viel um Affinitäten/Arbeitslisten/Zuordnungen im Gruppenscan arbeiten müssen. Wenn ich bald Zeit habe, werde ich versuchen, ein Dokument über die verschiedenen Teile der Benutzeroberfläche zu schreiben und vielleicht ein Tutorial über eines der vorhandenen Plugins schreiben.
Dies ist die genaue Information, nach der ich gesucht habe. Ich habe das Hiva Storage-Plugin durchsucht und fand es zu kompliziert. Ich habe eine Nachfolgefrage. Wie viel Arbeit besteht darin, ein Plugin/Modul zu schreiben, um die tatsächliche Ausführung der Abfrage auf den End-Workerknoten durchzuführen. Ich meine, anstatt nur den Datensatz zu lesen und zur Verfügung zu stellen, möchte ich einen Übungsplan machen und ausführen. – sushil
@jaltekruse, Ich möchte auch ein Speicher-Plugin erstellen und würde mich über jedes Tutorial darüber freuen. Gibt es Neuigkeiten bezüglich der Dokumentation? –
Sie hatten also Zeit, das Tutorial zu schreiben? :) –
Ist es eine Art von RDBMS? Wenn ja, können Sie Ihr Plugin definieren. Wenn dies etwas anderes ist, müssen Sie Code für dieses Plugin schreiben. –
Obwohl es kein RDBMS ist, haben wir Werkzeuge, die SQL wie Sprache über diesem Datensatz unterstützen. – sushil