C# - Schnellste Möglichkeit, einen Satz von Strings in einem anderen String zu finden

Question

Ich muss überprüfen, ob ein String irgendwelche Schimpfwörter enthält.

hier einige Ratschläge von einer anderen Frage Nach, machte ich eine HashSet, die die Worte:

HashSet<string> swearWords = new HashSet<string>() { "word_one", "word_two", "etc" }; 

Jetzt muss ich sehen, wenn eine der in swearWords enthaltenen Werte in meinen String sind.

Ich habe es umgekehrt, zum Beispiel getan gesehen:

swearWords.Contains(myString) 

Aber das wird false zurück.

Was ist der schnellste Weg zu überprüfen, ob eines der Wörter in der HashSet in myString sind?

NB: Ich denke, ich kann eine foreach-Schleife verwenden, um jedes Wort der Reihe nach zu prüfen und zu brechen, wenn eine Übereinstimmung gefunden wird, ich frage mich nur, ob es einen schnelleren Weg gibt.

Answer 1

könnten Sie einen regulären Ausdruck versuchen, aber ich bin nicht sicher, dass es schneller.

Answer 2

Wenn Sie Ihr schwört in einem IEnumerable < platzieren> Umsetzung Behälter:

var containsSwears = swarWords.Any(w => myString.Contains(w)); 

Hinweis: HashSet <> implementiert IEnumerable <>

Answer 3

Sie könnten "myString" in einen IEnumerable-Typ aufteilen und dann "Overlaps" verwenden?

http://msdn.microsoft.com/en-us/library/bb355623(v=vs.90).aspx

(P. S. Lange nicht ... sehen)

EDIT: Just bemerkt Fehler in meiner vorherigen Antwort.

Answer 4

Wenn Sie wirklich große Menge von Schimpfwörter Sie Aho-Corasick Algorithmus verwenden: http://tomasp.net/blog/ahocorasick.aspx

Answer 5

Das Hauptproblem bei solchen Systemen ist definieren, was ein Wort im Kontext der Zeichenfolge Sie überprüfen möchten .

Naive Implementierungen wie diejenigen, die input.Contains verwenden, haben einfach nicht das Konzept eines Wortes; Sie werden Schimpfwörter "erkennen", auch wenn das nicht die Absicht war.

Das Brechen von Wörtern in Whitespace wird es nicht schneiden (beachten Sie auch Interpunktionszeichen usw.).

Das Aufbrechen anderer Zeichen als Whitespace wirft Kulturprobleme auf: Welche Zeichen werden genau als Wortzeichen betrachtet?

Unter der Annahme, dass Ihre Stoppwortliste nur das lateinische Alphabet verwendet, wäre eine praktische Wahl, anzunehmen, dass Wörter Sequenzen sind, die nur aus lateinischen Zeichen bestehen.So eine vernünftige Ausgangslösung wäre

var words = Regex.Split(@"[^\p{Ll}\p{Lu}\p{Lt}\p{Lo}\p{Pc}\p{Lm}]", myString); 

Die Regex oben ist die Standardklasse \W modifiziert, um nicht Ziffern zu umfassen; Weitere Informationen finden Sie unter http://msdn.microsoft.com/en-us/library/20bw873z.aspx. Für andere Ansätze siehe this question und möglicherweise die in der akzeptierten Antwort angegebene CodeProject-Verknüpfung.

die Eingabezeichenfolge geteilt haben, können Sie über words laufen und diejenigen ersetzen, die etwas in der Liste übereinstimmen (verwenden swearWords.Contains(word) zu überprüfen) oder einfach zu erkennen, ob es irgendwelche Übereinstimmungen sind überhaupt mit

var anySwearWords = words.Intersect(swearWords).Any();