Gibt es eine gute Bibliothek kann Wörter aus einer kombinierten Zeichenfolge erkennen und aufteilen?Erkennen am wahrscheinlichsten Wörter aus Text ohne Leerzeichen/kombinierte Wörter
Beispiel:
"cdimage" -> ["cd", "image"]
"filesaveas" -> ["file", "save", "as"]
Hier ist eine dynamische Programmierlösung (implementiert als memoized-Funktion) zu lösen.Wenn ein Wörterverzeichnis mit ihren Häufigkeiten gegeben wird, teilt es den Eingabetext an den Positionen auf, die die wahrscheinlichste Phrase ergeben. Sie müssen eine echte Wortliste finden, aber ich habe einige erfundene Frequenzen für einen einfachen Test aufgenommen.
WORD_FREQUENCIES = {
'file': 0.00123,
'files': 0.00124,
'save': 0.002,
'ave': 0.00001,
'as': 0.00555
}
def split_text(text, word_frequencies, cache):
if text in cache:
return cache[text]
if not text:
return 1, []
best_freq, best_split = 0, []
for i in xrange(1, len(text) + 1):
word, remainder = text[:i], text[i:]
freq = word_frequencies.get(word, None)
if freq:
remainder_freq, remainder = split_text(
remainder, word_frequencies, cache)
freq *= remainder_freq
if freq > best_freq:
best_freq = freq
best_split = [word] + remainder
cache[text] = (best_freq, best_split)
return cache[text]
print split_text('filesaveas', WORD_FREQUENCIES, {})
--> (1.3653e-08, ['file', 'save', 'as'])
Ich weiß nicht, von jeder Bibliothek für sie, aber es sollte nicht schwer sein, grundlegende Funktionalität zu implementieren.
words.Beispiel:
Was ist die Laufzeit davon? Ich bin irgendwie nicht in der Lage, dieses Problem zu verallgemeinern, um seine genaue Big-O-Komplexität zu finden. –
Ich weiß nicht, eine Bibliothek, die dies tut, aber es ist nicht allzu schwer zu schreiben, wenn Sie eine Liste von Wörtern haben:
wordList = file('words.txt','r').read().split()
words = set(s.lower() for s in wordList)
def splitString(s):
found = []
def rec(stringLeft, wordsSoFar):
if not stringLeft:
found.append(wordsSoFar)
for pos in xrange(1, len(stringLeft)+1):
if stringLeft[:pos] in words:
rec(stringLeft[pos:], wordsSoFar + [stringLeft[:pos]])
rec(s.lower(), [])
return found
Dadurch werden alle Möglichkeiten geben die Zeichenfolge in aufzuspalten die gegebenen Wörter.
Beispiel:
>>> splitString('filesaveas')
[['file', 'save', 'as'], ['files', 'ave', 'as']]
, wenn Sie tun dies nicht zum Spaß, sondern ist tatsächlich etwas für die Arbeit tun, etc, ist mein Rat ist dies an der Quelle zu bekämpfen. Warum haben Sie diese Saiten so kombiniert? Wo hast du diese Saiten? Wenn es möglich ist, fügen Sie Leerzeichen an der Quelle ein, woher diese Zeichenfolgen stammen.
Entschuldigung, aber das ist eine Antwort für jedes Problem. (F: "Wie male ich das Haus in Weiß?" -> A: "füge weißem Kalzium hinzu und komme 1 Million Jahre später und grabe weiße Ziegel an erster Stelle") –
Erhalten Sie Leute sie als Captcha auf Ihrer Webseite :)
Ich weiß, dass diese Frage für Python markiert ist, aber ich brauchte eine JavaScript-Implementierung. Ich ging von den vorherigen Antworten weg und dachte, ich würde meinen Code teilen. Scheint anständig zu funktionieren.
Hinweis: "_dictionary" wird erwartet, eine Reihe von Wörtern sortiert nach Häufigkeit zu sein. Ich verwende eine Wortliste von Project Gutenberg.
Ich habe keine Erfahrung in diesem Bereich, aber vielleicht möchten Sie mit einem Blick auf das Natural Language Toolkit beginnen. http://www.nltk.org/ –
Und FileSaveAs konnte * Dateien ave als * nicht nur * Datei Speichern unter * aufgeteilt werden hart Es wäre nur auf Wort Möglichkeiten zu teilen, wenn Sie einen Fachwortschatz haben. .. – Sparky
Und ["c", "dim", "Alter"], ["cd", "ich", "Magier"], etc ... es ist nicht einfach, das richtig zu verstehen, ohne den Kontext zu kennen. Es wird noch schwieriger, die richtige Option auszuwählen, wenn es viele domänenspezifische Begriffe und Abkürzungen gibt, die im normalen Text selten sind, aber in den typischen erwarteten Eingaben üblich sind. Sie müssten wahrscheinlich den Algorithmus trainieren. –