Wie speichere ich Spring Boot Logs direkt in elastische

Question

Ich untersuche Machbarkeit von Spring Boot-Anwendungsprotokolle direkt in elastische Suche. Ohne Dateibeats oder Logstash. Ich glaube, dass das Ingest-Plugin dabei helfen kann.

Meine ersten Gedanken sind dies mit Logback über TCP zu tun.

https://github.com/logstash/logstash-logback-encoder

<?xml version="1.0" encoding="UTF-8"?> 
<configuration> 
    <appender name="stash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"> 
     <destination>127.0.0.1:4560</destination> 
     <encoder class="net.logstash.logback.encoder.LogstashEncoder" /> 
    </appender> 

    <root level="DEBUG"> 
     <appender-ref ref="stash" /> 
    </root> 
</configuration> 

suchen also auf die oben Sie Protokolle direkt in logstash senden können. Ich frage mich nur, ob es möglich ist, die neuere Funktionalität von ingest zu verwenden und mit logstash zu überspringen? Durch das Senden von Json-codierten Protokollen direkt in Elastic über das Netzwerk mithilfe der Ingest-Methode?

https://www.elastic.co/blog/new-way-to-ingest-part-1

Meine Frage

Ich frage mich, ob dies möglich ist? Wenn ja, könnten Sie erklären, wie Sie es tun würden. Auch was möglich wäre was die Fallstricke etc. wären

Answer 1

Ich habe gerade meinen Vorschlag ausprobiert und es hat perfekt geklappt.

Zuerst diese Abhängigkeit in Ihrem POM hinzu:

<dependency> 
     <groupId>org.logback-extensions</groupId> 
     <artifactId>logback-ext-loggly</artifactId> 
     <version>0.1.2</version> 
    </dependency> 

Dann in Ihrer logback.xml Konfiguration, fügen Sie ein appender und einen Logger wie folgt aus:

<appender name="ES" class="ch.qos.logback.ext.loggly.LogglyAppender"> 
    <endpointUrl>http://localhost:9200/tests/test?pipeline=logback</endpointUrl> 
    <pattern>%m</pattern> 
</appender> 
<logger name="es" level="INFO" additivity="false"> 
    <appender-ref ref="ES"/> 
</logger> 

Sie müssen auch eine Einspielung definieren Pipeline wie folgt:

Dann können Sie in Ihrem Code diesen Logger verwenden und senden alle Daten, die Sie Ihre ES haben

private Logger esLogger = LoggerFactory.getLogger("es"); 
... 
esLogger.info("{\"message\": \"Hello World from Logback!\"}"); 

Und dieses Dokument wird in Ihrem ES am Ende:

{ 
    "_index": "tests", 
    "_type": "test", 
    "_id": "AV3Psj5MF_PW7ho1yJhQ", 
    "_score": 1, 
    "_source": { 
     "source": "logback", 
     "message": "Hello World from Logback!", 
    } 
} 

Answer 2

fragte ich die gleiche Frage früher: Direct integration of Logback with Elasticsearch

Werfen Sie einen Blick auf https://github.com/internetitem/logback-elasticsearch-appender