Wie implementiert man ein Pythonic Äquivalent von Tail -F?

Question

Wie sieht die pythonische Art aus, das Ende einer wachsenden Datei auf das Auftreten bestimmter Schlüsselwörter zu überwachen?

In Shell könnte ich sagen:

tail -f "$file" | grep "$string" | while read hit; do 
    #stuff 
done 

Answer 1

Nun, der einfachste Weg, ständig aus der Datei gelesen werden würde, überprüfen, was neu ist und Test für die Treffer.

import time 

def watch(fn, words): 
    fp = open(fn, 'r') 
    while True: 
     new = fp.readline() 
     # Once all lines are read this just returns '' 
     # until the file changes and a new line appears 

     if new: 
      for word in words: 
       if word in new: 
        yield (word, new) 
     else: 
      time.sleep(0.5) 

fn = 'test.py' 
words = ['word'] 
for hit_word, hit_sentence in watch(fn, words): 
    print "Found %r in line: %r" % (hit_word, hit_sentence) 

Diese Lösung mit readline funktioniert, wenn Sie Ihre Daten einfach in den Zeilen angezeigt.

Wenn die Daten eine Art Stream sind, benötigen Sie einen Puffer, größer als die größte word, die Sie suchen, und füllen Sie es zuerst. Auf diese Weise wird es etwas komplizierter ...

Answer 2

Nach meinem Wissen gibt es in der Python-Funktionsliste kein Äquivalent zu "tail". Die Lösung wäre, tell() (get file size) und read() zu verwenden, um die Endzeilen zu berechnen.

Dieser Blogbeitrag (nicht von mir) hat die Funktion ausgeschrieben, sieht mir passend aus! http://www.manugarg.com/2007/04/real-tailing-in-python.html

Answer 3

Wenn Sie das Problem nicht auf ein zeilenbasiertes Lesen beschränken können, müssen Sie auf Blöcke zurückgreifen.

sollte diese Arbeit:

import sys 

needle = "needle" 

blocks = [] 

inf = sys.stdin 

if len(sys.argv) == 2: 
    inf = open(sys.argv[1]) 

while True: 
    block = inf.read() 
    blocks.append(block) 
    if len(blocks) >= 2: 
     data = "".join((blocks[-2], blocks[-1])) 
    else: 
     data = blocks[-1] 

    # attention, this needs to be changed if you are interested 
    # in *all* matches separately, not if there was any match ata all 
    if needle in data: 
     print "found" 
     blocks = [] 
    blocks[:-2] = [] 

    if block == "": 
     break 

Die Herausforderung liegt darin, sicherzustellen, dass Sie Nadel übereinstimmen, auch wenn es durch zwei Blockgrenzen getrennt ist.

Answer 4

EDIT: wie der Kommentar unten Notizen, funktioniert O_NONBLOCK nicht für Dateien auf der Festplatte. Dies wird immer noch helfen, wenn jemand kommt, um Schwanz Daten aus einem Socket oder Named Pipe oder einem anderen Prozess zu sehen, aber es beantwortet nicht die eigentliche Frage, die gestellt wurde. Die ursprüngliche Antwort bleibt für die Nachwelt erhalten. (Calling bis zum Schwanz und grep aus funktionieren wird, aber eine Nicht-Antwort von Art sowieso.)

Entweder öffnen Sie die Datei mit O_NONBLOCK und verwendet select für Lese Verfügbarkeit abfragen und dann read die neuen Daten zu lesen und den String Methoden zum Filtern von Zeilen am Ende einer Datei ... oder einfach das subprocess Modul verwenden und tail und grep die Arbeit für Sie erledigen lassen, so wie Sie es in der Shell tun würden.

Answer 5

Sie können collections.deque verwenden, um Schwanz zu implementieren.

Von http://docs.python.org/library/collections.html#deque-recipes ...

def tail(filename, n=10): 
    'Return the last n lines of a file' 
    return deque(open(filename), n) 

Natürlich liest diese den gesamten Dateiinhalt, aber es ist eine saubere und prägnante Art und Weise Schwanz umzusetzen.

Answer 6

def tail(f): 
    f.seek(0, 2) 

    while True: 
     line = f.readline() 

     if not line: 
      time.sleep(0.1) 
      continue 

     yield line 

def process_matches(matchtext): 
    while True: 
     line = (yield) 
     if matchtext in line: 
      do_something_useful() # email alert, etc. 


list_of_matches = ['ERROR', 'CRITICAL'] 
matches = [process_matches(string_match) for string_match in list_of_matches]  

for m in matches: # prime matches 
    m.next() 

while True: 
    auditlog = tail(open(log_file_to_monitor)) 
    for line in auditlog: 
     for m in matches: 
      m.send(line) 

Ich verwende dies, um Protokolldateien zu überwachen. In der vollständigen Implementierung behalte ich list_of_matches in einer Konfigurationsdatei, so dass sie für mehrere Zwecke verwendet werden kann. Auf meiner Liste der Verbesserungen ist die Unterstützung für Regex anstelle eines einfachen "In" -Match.

Answer 7

Sie können auswählen, um nach neuen Inhalten in einer Datei zu suchen.

def tail(filename, bufsize = 1024): 
    fds = [ os.open(filename, os.O_RDONLY) ] 
    while True: 
     reads, _, _ = select.select(fds, [], []) 
     if 0 < len(reads): 
      yield os.read(reads[0], bufsize) 

Answer 8

Sieht aus wie ein Paket ist, dass für: https://github.com/kasun/python-tail

Answer 9

Sie pytailf verwenden: -f Wrapper Einfache Python Schwanz

from tailf import tailf  

for line in tailf("myfile.log"): 
    print line 

Answer 10

Wenn Sie einfach Python 3 brauchen nur eine tote Lösung für die Verarbeitung die Zeilen einer Textdatei, wie sie geschrieben sind, und Sie brauchen keine Windows-Unterstützung, das hat gut für mich funktioniert:

import subprocess 
def tailf(filename): 
    #returns lines from a file, starting from the beginning 
    command = "tail -n +1 -F " + filename 
    p = subprocess.Popen(command.split(), stdout=subprocess.PIPE, universal_newlines=True) 
    for line in p.stdout: 
     yield line 
for line in tailf("logfile"): 
    #do stuff 

Es blockiert das Warten auf das Schreiben neuer Zeilen, daher ist es nicht für asynchrone Verwendung ohne einige Änderungen geeignet.