Timestamp-Zuordnung in Spark zu Elasticsearch

Question

Ich schreibe Protokolle mit Spark zu elasticsearch.Logs sind im JSON-Format mit Timestamp-Feld.

Beispiel { "timestamp": "2016-11-02 21:16:06.116" }

Wenn ich die Json Protokolle Elastic Index schreiben, Zeitstempel wird als String statt Zeitpunkt analysiert. Ich habe versucht, die Eigenschaft in sparkconf Einstellung sparkConf.set("es.mapping.timestamp", "timestamp") verwenden, aber es wirft Fehler folgenden zur Laufzeit: org.apache.spark.util.TaskCompletionListenerException: failed Zeitstempel analysieren [2016.11.03 15: 46: 55,1155]

Answer 1

Sie kann

Zeitstempel-Datenformat ändern

2016.11.02 21: 16: 06,116 -> 2016-11-02T21: 16: 06,116

i 2016-11-02T21 mit: 16: 06,116 Einsatz Elastische Arbeit

Typ Eigenschaften

"create_time": { 
    "format": "strict_date_optional_time||epoch_millis", 
    "type": "date"