Thema Modellierung in R mit Phrasen, anstatt einzelne Wörter

Question

Ich versuche, einige Thema Modellierung tun wollen, aber Phrasen verwenden, wo sie existieren, anstatt einzelne Wörter dh

library(topicmodels) 
library(tm) 
my.docs = c('the sky is blue, hot sun', 'flowers,hot sun', 'black cats, bees, rats and mice') 
my.corpus = Corpus(VectorSource(my.docs)) 
my.dtm = DocumentTermMatrix(my.corpus) 
inspect(my.dtm) 

Wenn ich meine dtm inspizieren es spaltet bis alle Worte, aber ich möchte, dass alle Phrasen zusammen dort also eine Spalte für jede sein sollte: der Himmel ist blau heißen Sonne Blumen schwarze Katzen Bienen Ratten und Mäuse

Wie Machen Sie die Document Term Matrix dazu, Sätze und Wörter zu erkennen? sie sind durch Komma

Die Lösung getrennt muss effizient sein, wie ich es über eine Menge von Daten

Answer 1

Sie versuchen, einen benutzerdefinierten tokenizer mit einem Ansatz könnten ausgeführt werden soll. Sie definieren die Mehrwort-Begriffe, die Sie als Phrasen wollen (ich bin mir nicht bewusst eines algorithmischen Code, diesen Schritt zu tun):

tokenizing.phrases <- c("sky is blue", "hot sun", "black cats") 

Beachten Sie, dass kein stamm geschehen ist, wenn Sie so wollen beide „schwarze Katzen“ und "schwarze Katze", dann müssen Sie beide Varianten eingeben. Der Fall wird ignoriert.

Dann müssen Sie eine Funktion erstellen:

phraseTokenizer <- function(x) { 
     require(stringr) 

     x <- as.character(x) # extract the plain text from the tm TextDocument object 
     x <- str_trim(x) 
     if (is.na(x)) return("") 
     #warning(paste("doing:", x)) 
     phrase.hits <- str_detect(x, ignore.case(tokenizing.phrases)) 

     if (any(phrase.hits)) { 
     # only split once on the first hit, so you don't have to worry about multiple occurrences of the same phrase 
     split.phrase <- tokenizing.phrases[which(phrase.hits)[1]] 
     # warning(paste("split phrase:", split.phrase)) 
     temp <- unlist(str_split(x, ignore.case(split.phrase), 2)) 
     out <- c(phraseTokenizer(temp[1]), split.phrase, phraseTokenizer(temp[2])) 
     } else { 
     out <- MC_tokenizer(x) 
     } 


out[out != ""] 
} 

Dann gehen Sie wie gewohnt ein Begriff Dokument-Matrix zu erstellen, aber dieses Mal sind Sie schließen die Zeichen übersetzten Sätze im Korpus mit Hilfe des Steuer Argument.

tdm <- TermDocumentMatrix(corpus, control = list(tokenize = phraseTokenizer)) 

Answer 2

haben vielleicht einen Blick auf diese relativ neue Veröffentlichung zu diesem Thema:

http://web.engr.illinois.edu/~hanj/pdf/kdd13_cwang.pdf

sie geben einen Algorithmus für Phrasen und Partitionierung/Zeichenüber ein Dokument in diesen Phrasen zu identifizieren.