Parsen ganze Begriffe in Python/Json Profanity-Filter

Question

Ich habe eine JSON-Datei mit Begriffen für einen Profanitätsfilter gegen zu überprüfen.

Und ich verwende dies (aus einem anderen Artikel gefunden), um den JSON zu analysieren und jedes Datenobjekt nach gesetzten Wörtern zu durchsuchen.

def word_filter(self, *field_names): 

    import json 
    from pprint import pprint 

    with open('/var/www/groupclique/website/swearWords.json') as data_file:  
     data = json.load(data_file) 

    for field_name in field_names: 
     for term in data: 
      if term in field_name: 
       self.add_validation_error(
        field_name, 
        "%s has profanity" % field_name) 


class JobListing(BaseProtectedModel): 
    id = db.Column(db.Integer, primary_key=True) 
    category = db.Column(db.String(255)) 
    job_title = db.Column(db.String(255)) 

    @before_flush 
    def clean(self): 
     self.word_filter('job_title') 

Das Problem ist, wenn ich die Zeichenfolge „Klempner“ verwenden, um die Kontrolle aufgrund des Wortes „Plug“ in der JSON-Datei fehlschlägt. Weil "plu" in beiden Begriffen ist. Gibt es eine Möglichkeit, das gesamte Wort in der JSON-Datei statt einer partiellen zu erzwingen? Ausgabe einmal lief fehlerhaft ist nicht:

({ "validation_errors": { "job_title": " job_title has profanity" } }) 

HTTP PAYLOAD: 
{ 
    "job_title":"plumber",  
} 

Answer 1

Sie verwenden string.split() als eine Möglichkeit, ganze Worte des field_name zu isolieren. Wenn Sie teilen, wird eine Liste aller Teile der Zeichenfolge zurückgegeben, die durch das angegebene Trennzeichen getrennt wurden. Mit dem können Sie überprüfen, ob der profane Begriff in der Liste geteilt wird:

import json 

with open('terms.json') as data_file:  
    data = json.load(data_file) 

for field_name in field_names: 
    for term in data: 
     if term in field_name.split(" "): 
      self.add_validation_error(
       field_name, 
       "%s has profanity" % field_name) 

Wo dies heikel wird, wenn es Zeichensetzung oder etwas Derartiges ist. Zum Beispiel der Satz: "Hier kommt die Sonne." wird nicht mit dem schlechten Wort "Sonne" übereinstimmen, noch wird es mit "hier" übereinstimmen. Um das Kapital Problem zu lösen, sollten Sie die gesamte Eingabe in Kleinbuchstabe ändern:

if term in field_name.lower().split(" "): 

Entfernen Interpunktion ein bisschen mehr beteiligt ist, aber this sollen Ihnen helfen, das umzusetzen.

Es kann durchaus sein, dass Sie mehr Randfälle haben, die Sie in Betracht ziehen müssen, also denken Sie nur an zwei schnelle Köpfe, an die ich gedacht habe.