Kinesis Eingangsstrom in Logstash

Question

Ich werte Logstash derzeit für unsere Datenaufnahme Bedürfnisse. Einer der Anwendungsfälle ist das Lesen von Daten aus AWS Kinesis-Stream. Ich habe versucht, logstash-input-kinesis plugin zu installieren. Wenn ich es ausführe, sehe ich kein logstash, das irgendein Ereignis vom Strom verarbeitet. Mein Logstash funktioniert gut mit anderen Arten von Eingaben (tcp). Es gibt keinen Fehler in den Debug-Protokollen. Es verhält sich nur so, als wäre nichts zu verarbeiten. Meine Konfigurationsdatei lautet:

input { 
    kinesis { 
     kinesis_stream_name => "GwsElasticPoc" 
     application_name => "logstash" 
     type => "kinesis" 
    } 
    tcp { 
     port => 10000 
     type => tcp 
    } 
} 

filter { 
    if [type] == "kinesis" { 
     json { 
      source => "message" 
     } 
    } 

    if [type] == "tcp" { 
     grok { 
      match => { "message" => "Hello, %{WORD:name}"} 
     } 
    } 
} 

output{ 
    if [type] == "kinesis" 
    { 
     elasticsearch{ 
      hosts => "http://localhost:9200" 
      user => "elastic" 
      password => "changeme" 
      index => elasticpoc 
     } 
    } 
    if [type] == "tcp" 
    { 
     elasticsearch{ 
      hosts => "http://localhost:9200" 
      user => "elastic" 
      password => "changeme" 
      index => elkpoc 
     } 
    } 
} 

Answer 1

Ich habe nicht den Logstash Weg versucht, aber wenn Sie auf AWS laufen. Es gibt eine Kinesis Firehose zu Elasticsearch Einnahme als

bei http://docs.aws.amazon.com/firehose/latest/dev/basic-create.html#console-to-es dokumentierten Sie können sehen, ob das als alternatives arbeiten würde logstash

Answer 2

wir die AWS-Anmeldeinformationen für den Zugriff auf die AWS-Dienste für diese Integration zur Arbeit zur Verfügung stellen müssen .

Sie können gleich hier finden: https://github.com/logstash-plugins/logstash-input-kinesis#authentication