Logstash multiline CSV-Datei analysieren

Question

Ich habe eine CSV-Datei mit einigen Feldern, die "\ n" enthalten. Das Feld ist in Anführungszeichen gesetzt, sodass es in Excel korrekt angezeigt wird oder Pandas in Python verwendet. Die Verwendung des CSV-Filters in logstash funktioniert jedoch nicht ordnungsgemäß und gibt entweder CSV-Parse-Fehler oder falsche Felder aus. Wer hat schon Erfahrung damit?

Ich habe auch dieses Problem auf GitHub gesehen: https://github.com/logstash-plugins/logstash-filter-csv/issues/34, aber es ist ein Jahr alt.

Answer 1

haben Sie den multiline Codec versucht?

Sie sollten so etwas in Ihrer Eingabe-Plugin hinzu:

codec => multiline { 
     pattern => "^[0-9]" 
     negate => "true" 
     what => "previous" 
    } 

es sagt logstash, dass jede Zeile, die nicht mit einer Zahl sollte

siehe Loading csv in ElasticSearch using logstash

mit der vorherige Zeile zusammengeführt werden