logstash Eingang jdbc Plugin Apache Drill

Question

Ich versuche Eingang JDBC für logstash 5 mit Apache konfigurieren Drill (https://drill.apache.org/docs/using-the-jdbc-driver/)

Unten ist mein Eingang jdbc Konfiguration für logstash.

input { 
    jdbc { 
    jdbc_driver_library => "jdbc_jars/drill-jdbc-all-1.10.0.jar" 
    jdbc_driver_class => "org.apache.drill.jdbc.Driver" 
    jdbc_connection_string => "jdbc:drill:zk=local" 
    jdbc_user=> "dfs" 
    schedule => "* * * * *" 
    statement => "select * from `sample.json`;" 
    } 
} 

Ich bekomme im Wesentlichen logstash WARN von "fehlgeschlagen test_connection". Daher, obwohl Logstash gestartet wird, schlägt die DB-Verbindung fehl.

Irgendwelche Vorschläge?

Answer 1

Ich sehe ein paar Probleme mit Ihrer Konfiguration.

1. Sie müssen eine gültige IP-Adresse und einen gültigen Port für einen von Drill verwendeten Zookeeper-Knoten angeben. Die Zeile, die Sie für logstash jdbc_connection_string => "jdbc:drill:zk=local" angegeben haben, teilt logstash mit, dass der zoekeeper auf demselben Knoten wie logstash ausgeführt wird. Was Sie stattdessen angeben müssen, ist jdbc_connection_string => "jdbc:drill:zk=zk_hostname_or_ip:zk_port". Sprechen Sie mit dem Typ, der Ihren Bohr-Cluster eingerichtet hat, um den Hostnamen oder die IP-Adresse und den Port Ihres Zookonzept-Knotens herauszufinden.

2. dfs ist kein Benutzer bohren, es ist der Name eines der Storage Plugins von Drill. Wenn Sie Ihre Abfrage auf eine Datei auf hdfs ändern

   statement => "select * from `sample.json`;" 
   

   zu

   statement => "select * from dfs.`/path/to/sample.json`;" 
   

Wenn Sie keine Authentifizierung für Bohren Sie Ihre Config konfiguriert gespeichert laufen sollte wie folgt aussehen.

Wenn Sie die Authentifizierung für Drill konfiguriert haben und Sie Ihren Drill Benutzernamen und Passwort kennen, sollte Ihre Konfiguration so aussehen.

input { 
    jdbc { 
    jdbc_driver_library => "jdbc_jars/drill-jdbc-all-1.10.0.jar" 
    jdbc_driver_class => "org.apache.drill.jdbc.Driver" 
    jdbc_connection_string => "jdbc:drill:zk=zk_hostname_or_ip:zk_port" 
    schedule => "* * * * *" 
    statement => "select * from `dfs./path/to/sample.json`;" 
    jdbc_user => "myusername" 
    jdbc_password => "mypassword" 
    } 
}