Eine Datei von einem URI in Logstash lesen

Question

Ich habe eine Datei auf einem Remote-Server. Ich weiß, dass die Datei durch seine URI:

http://some.server/dir/derp/syslog.log

Wenn ich die logstash Datei Eingang verwenden, wird der URI abgelehnt mit einem Fehler von einem relativen Pfad zu beklagen. Die Remote-Datei enthält keine Sicherheit. Ich kann curl es ohne Problem aus dem Logstash-System.

Mein newb-config Eingang Snippet wie folgt aussieht:

input { 
     file { 
     path => "http://some.server/dir/derp/syslog.log" 
     type => "syslog" 
     } 

Was ist der richtige Weg ist, die Datei zu lesen?

Answer 1

Das Eingabe-Plugin file liest keine entfernten Dateien, es erlaubt nur das Lesen von Dateien vom lokalen Host.

Sie haben ein paar Lösungen:

A. Sie können install filebeat auf Remote-Server some.server bis zum Schwanz, die Datei syslog und entweder versenden es zu Ihrem logstash oder direkt auf Ihrem ES-Server.

B. Sie können Logstash direkt auf Ihrem Remote-Server installieren und haben die file Eingangs-Plugin-Endung diese Datei direkt auf dem Server.

C. Sie können die http_poller input plugin verwenden, um diese Datei über HTTP abzurufen.

input { 
    http_poller { 
    urls => { 
     mysyslog => "http://some.server/dir/derp/syslog.log" 
    } 
    request_timeout => 60 
    interval => 60 
    } 
}