Ich schaffe Daten Verschlucken von:MySQL Kafka ELK Stapel Emissionstag
MySQL --> Kafka --> Logstash --> Elasticsearch --> Kibana
Ich bin in der Lage zu Pipeline-Daten von MySQL bis Kibana, aber ich bin vor Probleme, während mit „Datum“ -Spalte in der Behandlung MySQL-Tabelle.
Die Datumsspalte erscheint als EPOCH-Datum im Kafka-Thema und im ES-Dokument.
Können wir es in Elasticsearch/Logstash in das Datumsformat "yyyy-mm-dd" konvertieren?
Um Ihre Frage direkt zu beantworten: Verwenden Sie eine Elasticsearch dynamische Vorlage, um das Datumsfeld als date zu definieren, und Elasticsearch wird dann den Epochentyp korrekt interpretieren.
Wissen Sie, dass Sie Logstash überhaupt nicht brauchen? Sie können einfach die Elasticsearch-Spüle für Kafka Connect verwenden. Sie können diese separately oder als Teil von Confluent Platform erhalten.
Sie werden diese Blog-Serie folgen möchte ich hier schreiben, die diese Pipeline genau baut aus (MySQL -> Kafka -> Elasticsearch): https://www.confluent.io/blog/simplest-useful-kafka-connect-data-pipeline-world-thereabouts-part-1/