Was genau ist ein n Gramm?

Question

Ich fand diese vorherige Frage zu SO: N-grams: Explanation + 2 applications. Die OP gab dieses Beispiel und fragte, ob es richtig war:

Sentence: "I live in NY." 

word level bigrams (2 for n): "# I', "I live", "live in", "in NY", 'NY #' 
character level bigrams (2 for n): "#I", "I#", "#l", "li", "iv", "ve", "e#", "#i", "in", "n#", "#N", "NY", "Y#" 

When you have this array of n-gram-parts, you drop the duplicate ones and add a counter for each part giving the frequency: 

word level bigrams: [1, 1, 1, 1, 1] 
character level bigrams: [2, 1, 1, ...] 

Jemand in der Antwort Abschnitt bestätigte dies richtig war, aber leider bin ich ein bisschen darüber hinaus verloren, da ich nicht ganz alles verstand anderes, das war sagte! Ich benutze LingPipe und folge einem Tutorial, das besagt, dass ich einen Wert zwischen 7 und 12 wählen sollte - aber ohne Angabe warum.

Was ist ein guter nGram-Wert und wie sollte ich ihn bei der Verwendung eines Tools wie LingPipe berücksichtigen?

Edit: Das war das Tutorial: http://cavajohn.blogspot.co.uk/2013/05/how-to-sentiment-analysis-of-tweets.html

Answer 1

N-Gramm sind einfach alle Kombinationen von benachbarten Wörtern oder Buchstaben Länge n, die Sie in Ihrem Quelltext finden. Wenn beispielsweise das Wort fox gegeben wird, sind alle 2 Gramm (oder "Bigramme") fo und ox. Sie können auch die Wortgrenze zählen - das würde die Liste von 2 Gramm auf #f, fo, ox und x# erweitern, wobei # eine Wortgrenze bezeichnet.

Sie können das gleiche auf der Wortebene tun. Als ein Beispiel enthält der Text hello, world! die folgenden Wortrelevante Bigramme: # hello, hello world, world #.

Der grundlegende Punkt von N-Grammen ist, dass sie die Sprachstruktur vom statistischen Standpunkt aus erfassen, wie zum Beispiel welcher Buchstabe oder welches Wort dem gegebenen folgen wird. Je länger das N-Gramm (je höher der n), desto mehr Kontext, mit dem Sie arbeiten müssen. Die optimale Länge hängt von der Anwendung ab - wenn Ihre N-Gramme zu kurz sind, können Sie wichtige Unterschiede nicht erfassen. Auf der anderen Seite, wenn sie zu lang sind, können Sie das "Allgemeinwissen" nicht erfassen und nur bei bestimmten Fällen bleiben.

Answer 2

Ein N-Gramm ist eine n-tuple oder Gruppe von n Wörtern oder Zeichen (Gramm, für Grammatikstücke), die aufeinander folgen. Also wäre ein n von 3 für die Wörter aus Ihrem Satz wie "# Ich lebe", "Ich lebe in", "lebe in NY", "in NY #". Dies wird verwendet, um einen Index darüber zu erstellen, wie oft Wörter aufeinander folgen. Sie können dies in einem Markov Chain verwenden, um etwas zu erstellen, das Sprache ähnelt. Wenn Sie eine Zuordnung der Verteilungen von Wortgruppen oder Zeichengruppen auffüllen, können Sie sie mit der Wahrscheinlichkeit rekombinieren, dass die Ausgabe nah an der natürlichen ist, je länger das N-Gramm ist.

Zu hoch von einer Zahl, und Ihre Ausgabe wird ein Wort für Word-Kopie des Originals, zu niedrig einer Nummer, und die Ausgabe wird zu chaotisch sein.

Answer 3

Normalerweise ist ein Bild mehr als tausend Worte wert.

Quelle: http://recognize-speech.com/language-model/n-gram-model/comparison