Exportieren von Daten aus Elasticsearch in CSV mit Logstash

Question

Wie kann ich Daten aus Elasticsearch mit Logstash in CSV exportieren? Ich muss nur bestimmte Spalten einschließen.

Answer 1

Installieren Sie 2 plugins: und csv output plugin. Dann erstellen a configuration file. Hier ist a good example for this particular case.

Sie sind bereit, jetzt zu gehen, nur laufen:
bin/logstash -f /path/to/logstash-es-to-csv-example.conf

Und überprüfen export.csv Datei in output -> csv -> path angegeben.

Answer 2

Wichtiger Hinweis: ein bekannter Fehler im csv-Ausgabe-Plugin Es wird, wenn mit Logstash 5.x Arbeits Das Plugin generiert eine Zeichenfolge von %{host} %{message}%{host} %{message}%{host} %{message}. Es ist eine offene Frage für sie: https://github.com/logstash-plugins/logstash-output-csv/issues/10

Als Abhilfe können Sie:

• Herabstufung 2.x auf Logstash bis diese

• die Dateiausgabe

  file { 
      codec => line { format => "%{field1},%{field2}"} 
      path => "/path/to/data_export.csv" 
  } 
  

stattdessen aufgelöst wird

• Ändern Sie den Code des Plugins entsprechend der GitHub-Diskussion ...