2017-12-07 3 views
0

Ich habe den ganzen Abend daran gearbeitet und es macht mich verrückt. Es soll sehr einfach sein, aber es funktioniert nicht. Dies funktioniert mit Oracle, aber nicht mit MySQL, und ich habe ähnliche db.config erstellt, die mit der Option -f in logstash eingegeben wird.Logstash mysql Datenbank Daten werden nicht in den Elasticsearch Index geladen

input { 

jdbc { 
     jdbc_driver_library => "/opt/elk/logstash-5.6.0/lib/mysql-connector-java-5.1.45-bin.jar" 
     jdbc_driver_class => "Java::com.mysql.jdbc.Driver" 
     jdbc_connection_string => "jdbc:mysql://serverName:3306/dbName?verifyServerCertificate=false&useSSL=true" 
     jdbc_user => "userName" 
     jdbc_password => "PasswordValue" 

    statement => "select user_id, visitor_returning, config_os, visitor_days_since_last from visiting_table where user_id is not null" 

    #optional extras I use 
     type => "visit" 
     tags => ["awesome", "import"] 
} 

}

Ausgang { stdout {Codec => json_lines}

if [type] == "visit"{ 
     elasticsearch{ 
      hosts => "127.0.0.1" 
      index => "visitDb" 
      document_type => "visit_results" 
     } 
    } 
stdout{} 

}

Sobald ich die logstash laufen, ist es nicht die Daten in Elastic Suchindex Laden . Ich kann den Index visitDb nicht einmal sehen, wenn ich das unten mache.

curl 'localhost: 9200/_cat/Indices v'

health status index   uuid     pri rep docs.count docs.deleted store.size pri.store.size 

gelb offene .kibana Fg6P7XuHSTaonbKEbLcz5A 1 1 21 3 56.5kb 56.5kb gelb offene orderstotdb obxZ38prTFCG0W-BFTIhgw 5 1 60 0 245,4 245.4kb kb y

Ich kann nicht herausfinden, was mit MySQL los ist. Ich kann sehen, dass das Konsolenprotokoll die Daten im JSON-Format abruft und in die Konsole schreibt, aber der Index spiegelt sich nicht in ElasticSearch wider oder wird in Kibana angezeigt, um ein Indexmuster zu erstellen.

Kann mir bitte jemand helfen ??

+0

Ein paar Dinge hinzuzufügen. ElasticSearch-Indizes werden geladen, wenn Daten von OracleDB abgerufen werden. Ich dachte zuerst, es ist ein Problem mit Datentypen und entfernt apl die Spalten und reduziert auf 3, die alle Varchar-Felder sind. Schätze jede Hilfe oder Hinweise – Karthik

Antwort

0

Ich beantworte meine eigene Frage, falls jemand anderes das gleiche Problem hat. Elastic Search lehnt Indexnamen mit Großbuchstaben ab, da ich den Namen visitDb mit D capital hatte, er lehnte die Erstellung des Indexnamens ab, go figure :) Stunden, die beim Debugging verschiedener Optionen verloren gingen.

Verwandte Themen