Erstellen eines Protokollierungshandlers für die Verbindung mit Oracle?

Question

Jetzt muss ich eine Erweiterung des Python-Logging-Moduls erstellen und implementieren, die für die Protokollierung unserer Datenbank verwendet wird. Im Grunde haben wir mehrere Python-Anwendungen (die alle im Hintergrund laufen), die sich momentan in einem zufälligen Mischmasch von Textdateien anmelden. Das macht es fast unmöglich herauszufinden, ob eine bestimmte Anwendung fehlgeschlagen ist oder nicht.

Das Problem, das mir gegeben wird, ist, diese Protokollierung in Textdateien in eine Oracle DB zu verschieben. Die Tabellen wurden bereits definiert, und wo Dinge protokolliert werden müssen, aber jetzt, schaue ich mich an, einen weiteren Logging-Handler hinzuzufügen, der sich bei der DB anmelden wird.

Ich benutze Python 2.5.4 und Cx_Oracle und die Anwendungen im Allgemeinen können Ether als ein Dienst/Daemon oder eine direkte Anwendung ausgeführt werden.

Ich bin nur hauptsächlich neugierig, was der beste Weg wäre, um darüber zu gehen. Ein paar Fragen:

1. Wenn Fehler auftreten mit cx_Oracle, wo sollten diese Fehler protokolliert werden? Wenn es abwärts geht, wäre es am besten, einfach zu gehen und den Logger in die Standard-Textdatei zurückziehen zu lassen?

2. Vor einiger Zeit haben wir angefangen, zu erzwingen, dass Leute sys.stderr/stdout.write anstelle von print verwenden. Im Worst-Case-Szenario würden wir also keine Probleme mit dem veralteten Drucken bekommen. Gibt es eine Möglichkeit, nahtlos alle Tausende von sys.std-Aufrufen direkt in den Logger zu pipedieren und den Logger packen zu lassen?

3. Nach jeder protokollierten Nachricht, sollte das Skript automatisch einen Commit durchführen? (Es wird mehrere Dutzend pro Sekunde geben.)

4. Was ist der beste Weg, um einen neuen Handler für das Logging-System zu implementieren? Das Erben von der grundlegenden Handler-Klasse scheint am einfachsten zu sein.

Alle Ideen/Vorschläge wären großartig.

Answer 1

1. Wenn Fehler mit Cx_Oracle auftreten, ist es wahrscheinlich am besten, diese in eine Textdatei zu protokollieren.
2. Sie könnten versuchen, sys.stdout und sys.stderr auf dateiähnliche Objekte umzuleiten, die protokollieren, was in einen Logger geschrieben wird.
3. Ich würde vermuten, dass Sie nach jeder Veranstaltung verpflichten möchten, es sei denn, Sie haben starke Gründe dafür, dies nicht zu tun. Alternativ können Sie mehrere Ereignisse zwischenspeichern und sie alle in einer einzigen Transaktion schreiben.
4. Unten ist ein Beispiel, das mx.ODBC verwendet, Sie können dies wahrscheinlich ohne großen Aufwand an cx_Oracle anpassen. Ich denke, es ist Python DB-API 2.0 konform.

Die Python-Protokollierung Verteilung Standalone (vor Protokollierung Python hinzugefügt wurde) ist http://www.red-dove.com/python_logging.html und obwohl die Protokollierung Paket in Python viel mehr auf dem neuesten Stand ist, enthält die Standalone-Verteilung ein Testverzeichnis, das viele nützliche Beispiele hat von abgeleiteten Handler-Klassen.

#!/usr/bin/env python 
# 
# Copyright 2001-2009 by Vinay Sajip. All Rights Reserved. 
# 
# Permission to use, copy, modify, and distribute this software and its 
# documentation for any purpose and without fee is hereby granted, 
# provided that the above copyright notice appear in all copies and that 
# both that copyright notice and this permission notice appear in 
# supporting documentation, and that the name of Vinay Sajip 
# not be used in advertising or publicity pertaining to distribution 
# of the software without specific, written prior permission. 
# VINAY SAJIP DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS SOFTWARE, INCLUDING 
# ALL IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL 
# VINAY SAJIP BE LIABLE FOR ANY SPECIAL, INDIRECT OR CONSEQUENTIAL DAMAGES OR 
# ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER 
# IN AN ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT 
# OF OR IN CONNECTION WITH THE USE OR PERFORMANCE OF THIS SOFTWARE. 
# 
# This file is part of the standalone Python logging distribution. See 
# http://www.red-dove.com/python_logging.html 
# 
""" 
A test harness for the logging module. An example handler - DBHandler - 
which writes to an Python DB API 2.0 data source. You'll need to set this 
source up before you run the test. 

Copyright (C) 2001-2009 Vinay Sajip. All Rights Reserved. 
""" 
import sys, string, time, logging 

class DBHandler(logging.Handler): 
    def __init__(self, dsn, uid='', pwd=''): 
     logging.Handler.__init__(self) 
     import mx.ODBC.Windows 
     self.dsn = dsn 
     self.uid = uid 
     self.pwd = pwd 
     self.conn = mx.ODBC.Windows.connect(self.dsn, self.uid, self.pwd) 
     self.SQL = """INSERT INTO Events (
         Created, 
         RelativeCreated, 
         Name, 
         LogLevel, 
         LevelText, 
         Message, 
         Filename, 
         Pathname, 
         Lineno, 
         Milliseconds, 
         Exception, 
         Thread 
        ) 
        VALUES (
         %(dbtime)s, 
         %(relativeCreated)d, 
         '%(name)s', 
         %(levelno)d, 
         '%(levelname)s', 
         '%(message)s', 
         '%(filename)s', 
         '%(pathname)s', 
         %(lineno)d, 
         %(msecs)d, 
         '%(exc_text)s', 
         '%(thread)s' 
        ); 
        """ 
     self.cursor = self.conn.cursor() 

    def formatDBTime(self, record): 
     record.dbtime = time.strftime("#%m/%d/%Y#", time.localtime(record.created)) 

    def emit(self, record): 
     try: 
      #use default formatting 
      self.format(record) 
      #now set the database time up 
      self.formatDBTime(record) 
      if record.exc_info: 
       record.exc_text = logging._defaultFormatter.formatException(record.exc_info) 
      else: 
       record.exc_text = "" 
      sql = self.SQL % record.__dict__ 
      self.cursor.execute(sql) 
      self.conn.commit() 
     except: 
      import traceback 
      ei = sys.exc_info() 
      traceback.print_exception(ei[0], ei[1], ei[2], None, sys.stderr) 
      del ei 

    def close(self): 
     self.cursor.close() 
     self.conn.close() 
     logging.Handler.close(self) 

dh = DBHandler('Logging') 
logger = logging.getLogger("") 
logger.setLevel(logging.DEBUG) 
logger.addHandler(dh) 
logger.info("Jackdaws love my big %s of %s", "sphinx", "quartz") 
logger.debug("Pack my %s with five dozen %s", "box", "liquor jugs") 
try: 
    import math 
    math.exp(1000) 
except: 
    logger.exception("Problem with %s", "math.exp")