Gibt es vorhandene Stapelprotokolldatei-Aggregationslösungen?

Question

Ich möchte aus mehreren Knoten Protokolldateien exportieren (in meinem Fall Apache-Zugriff und Fehlerprotokolle) und diese Daten im Stapel als geplanten Job aggregieren. Ich habe mehrere Lösungen gesehen, die mit Streaming-Daten arbeiten (d. H. Denken, Schreiber). Ich möchte ein Werkzeug, das mir die Flexibilität gibt, das Ziel zu definieren. Diese Anforderung kommt von der Tatsache, dass ich HDFS als Ziel verwenden möchte.

Ich konnte kein Werkzeug finden, das dies im Batch unterstützt. Bevor ich das Rad neu erstellte, wollte ich die StackOverflow-Community um ihre Eingabe bitten.

Wenn eine Lösung bereits in Python existiert, wäre das noch besser.

Answer 1

PiCloud kann helfen.

Die PiCloud Plattform gibt Ihnen die Freiheit Ihre Algorithmen und Software zu entwickeln, ohne Zeit in alle Leitungen, die sinkende mit Provisioning kommt, Verwaltung und Wartung von Servern.

Answer 2

einen Blick auf Zomhg, dessen eine Aggregation/Reporting-System für Protokolldateien mit Hbase und HDFS: http://github.com/zohmg/zohmg

Answer 3

Scribe Ihre Anforderungen erfüllen können, gibt es eine Version (link) von Schreiber, die von aggregieren können Protokolle mehrere Quellen, und nach Erreichen eines bestimmten Schwellenwerts speichert es alles in HDFS. Ich habe es benutzt und es funktioniert sehr gut. Die Zusammenstellung ist ziemlich kompliziert. Wenn Sie irgendwelche Probleme haben, stellen Sie eine Frage.

Answer 4

verwenden wir http://mergelog.sourceforge.net/, um alle unsere Apache-Protokolle zusammenzuführen.