Alle Tools hilft bei der grafischen Darstellung von Protokollen

Question

Wir haben ein Tool, das viele Protokolle in s3 Bucket gespeichert haben wird. Logs haben Informationen über sanierte Sachen ... wie von 1000 bis 320 (von 1000, 320 wurde gelöscht). Wir möchten die Bedeutung dieses Werkzeugs darstellen. Wie gut es ist, unerwünschte Dinge zu beseitigen.

Gibt es ein Open-Source-Tool, das ich verwenden kann, um die grafische Darstellung zu erhalten, indem ich die Eingaben als Protokolle in S3-Buckets gebe.

Jeder Rat wird geschätzt. Danke

Answer 1

Obwohl dies zu weit für SO ist, hier ist, wo Sie anfangen könnten.

Werfen Sie einen Blick auf die ELK (Elasticsearch+Logstash+Kibana) "Stack".

Logstash hat eine S3 input, die Sie nutzen könnten, um dann Ihre Protokolle zu Elasticsearch senden und Sie werden Ihre Diagramme aus Kinaba

Die logstash Beispiel-Konfiguration (ohne Filterung oder Anpassung der Protokolle) bekommen könnte wie folgt aussehen :

input { 
    s3 { 
     access_key_id => "ACCESS_KEY_ID" 
     bucket => "BUCKET" 
     region => "REGION" 
     secret_access_key => "SECRET_ACESS_KEY" 
     prefix => "/" 
     type => "s3" 
    } 
} 

output { 
    elasticsearch { 
     host => "ELASTICSEARCH_URL" 
    } 
}