Durchsuchen von Elmah Fehlerprotokolldateien (vielleicht in 1000)

Question

Wir haben einen Ordner von Elmah Fehlerprotokolle im XML-Format. Diese Dateien sind in Millionen und jede Datei kann bis zu 50 kb groß sein. Wir müssen in der Lage sein, nach den Dateien zu suchen (zB: Welche Fehler sind aufgetreten, welches System ist fehlgeschlagen usw.). Haben wir ein Open-Source-System, das die Dateien indexiert und uns vielleicht dabei hilft, die Dateien mit Schlüsselwörtern zu durchsuchen? Ich habe Lucene.net angeschaut, aber es scheint, dass ich den Code die Anwendung haben werde. Bitte beraten.

Answer 1

Wenn Sie die Protokolle in einem Ordner in XML benötigen, könnte elmah-loganalyzer von Nutzen sein.

können Sie auch Microsoft Log Parser verwenden "SQL wie" Abfragen über die XML-Dateien auszuführen:

LogParser -i:XML "SELECT * FROM *.xml WHERE detail like '%something%'" 

EDIT:

Sie eine Kombination von Nutch verwenden könnte + SOLR oder logstash + Elasticsearch als Indexierungslösung.

• http://wiki.apache.org/nutch/NutchTutorial
• http://lucene.apache.org/solr/tutorial.html

• http://blog.building-blocks.com/building-a-search-engine-with-nutch-and-solr-in-10-minutes

• http://www.logstash.net/

• http://www.elasticsearch.org/tutorials/using-elasticsearch-for-logs/
• http://www.javacodegeeks.com/2013/02/your-logs-are-your-data-logstash-elasticsearch.html

Answer 2

Wir sind ein paar Entwickler machen die Website http://elmah.io. elmah.io indexiert alle Ihre Fehler (in ElasticSearch) und macht es möglich, funky Suchen, Gruppenfehler, Fehler zu verstecken, Zeitfilterfehler und vieles mehr. Wir befinden uns derzeit in der Beta-Phase, aber Sie erhalten einen Link zur Beta-Site, wenn Sie sich unter http://elmah.io anmelden.

Leider importiert elmah.io Ihre vorhandenen Fehlerprotokolle nicht. Wir werden Source eine Implementierung des ELMAH ErrorLog-Typs öffnen, die Ihre Fehler in Ihrem eigenen ElasticSearch indexieren (Watch https://github.com/elmahio für das Projekt). Auch hier wird diese Fehlerprotokollierung Ihre vorhandenen Fehlerprotokolle nicht indizieren, aber Sie könnten einen Parser implementieren, der Ihre XML-Dateien durchläuft und alles mit unserer Open-Source-Fehlerprotokollierung indexiert. Sie können die Fehler auch direkt über unsere API in elmah.io importieren, wenn Sie keine neue Benutzeroberfläche zusätzlich zu ElasticSearch implementieren möchten.