Log Storage/Indexing Tools

Question

Was ist das beste Werkzeug für die Speicherung/Indexierung von Systemprotokollen, mit einer guten Such-API. Ich will auf meinem ganzen System so etwas wie

logs.put({ 
    type: 'SOME_USER_ACTION', 
    result: 'SUCCESS', detail:'The user make some action on system', 
    user: 'ID:Name|user@email.com' 
}); 

Und auf Admin-Bereich implementieren ich diese Daten benötigen zurück:

logs.search({ 
    type: 'SOME_USER_ACTION', 
    user: 'ID' 
}); 

Ich bin nicht für einige Bibliothek suchen, aber für Werkzeuge. Ich bin bereits über Graylog und Elastic Stack gesehen, und ich bin mir nicht sicher, ob dies die besten Optionen sind. Vielleicht hat Amazon etwas Besseres, aber ich weiß es nicht.

PS: Wenn mehr als ein Werkzeug erforderlich ist, wird ein Fluss Beispiel

Answer 1

• hilfreich sein, Sie möchten bei AWS CloudWatch Logs suchen. Es bietet Ihnen APIs zum Verwalten Ihrer Protokollgruppen, zum Protokollieren von Ereignissen, zum Suchen von Protokollen mithilfe von Filtern und zum Paging.

• ich in der Regel ein Setup AWS Cloudwatch-Protokolle Agent auf jedem Exemplar oder Docker Container, und veröffentlichen alle Protokolle zu AWS Cloudwatch den Daemon. Alle Lambda-Funktionsprotokolle werden ebenfalls als CloudWatch-Protokolle erstellt. Besuchen Sie Cloud Watch Logs Agent für weitere Details.

• Wenn Sie bereits AWS verwenden, ist CloudWatch der empfohlene Weg und ist für die Verwendung sofort verfügbar.

• Sie können sogar Ihre Aufbewahrungsrichtlinien für Protokolle auf 1 Tag bis x Monate und später auf Amazon Glacier für den späteren Abruf konfigurieren. Sie sind aufgeladen mit der Menge an aufgenommenen GB pro Monat + Gesamtmenge von Daten pro Monat gespeichert.