Ideen zum Abrufen und Analysieren von Serverprotokollen mit Python?

Question

Zu Beginn, diese Desktop-App ist wirklich, um mir eine Ausrede zu geben, um Python zu lernen und wie ein GUI funktioniert.

Ich versuche meinen Kunden zu visualisieren, wie viel Bandbreite sie durchlaufen, wann und wo ihre Besucher sind. All dies würde durch Graphen oder was auch immer am bequemsten sein würde angezeigt. (Ich würde gerne hinzufügen cpu/mem Nutzung)

Ich dachte, der einfachste Weg wäre für die App über sftp verbinden, laden Sie das angegebene Protokoll und verwenden Sie dann Regex, um die notwendigen Informationen zu filtern.

Ich dachte an mit:

Python 2.6 
Pyside 
Paramiko 

mit zu beginnen. Ich habe mich für den sftp-Teil verdreht angesehen, aber ich würde es vielleicht besser machen, es jetzt einfach zu halten.

Scheint das richtig? Sollte ich versuchen, sftp zu verwenden? Oder sollte ich versuchen, mit einer Subdomain von meiner Site aus zu interagieren, um die Logs an den Client zu übertragen? (d. h app.mysite.com)

Wie wäre es mit regulären Ausdrücken, die Protokolle zu analysieren?

Answer 1

sftp oder shelling out zu rsync scheint wie eine sinnvolle Möglichkeit, die Protokolle abzurufen. Wie für das Parsen von ihnen sind reguläre Ausdrücke, was die meisten Leute verwenden. Es gibt jedoch auch andere Ansätze. Zum Beispiel:

• Parse Apache logs to SQLite database
• Using pyparsing to parse logs. Dieser analysiert eine andere Art von Protokolldatei, aber der Ansatz ist immer noch interessant.
• Parsing Apache access logs with Python. Der Autor hat tatsächlich einen kleinen Parser geschrieben, der in einem apachelogs Modul verfügbar ist.

Sie bekommen die Idee.