text2vec in R- Neue Daten transformieren?

Question

Dokumentation Es ist auf die Schaffung eines DTM (Dokumentbegriff Matrix) für das text2vec Paket, zum Beispiel die folgenden, wo ein TFIDF Gewichtung nach dem Aufbau der Matrix angewandt wird: ein DTM Grundlage erstellen gängige Praxis

data("movie_review") 
N <- 1000 
it <- itoken(movie_review$review[1:N], preprocess_function = tolower, 
tokenizer = word_tokenizer) 
v <- create_vocabulary(it) 
vectorizer <- vocab_vectorizer(v) 
it <- itoken(movie_review$review[1:N], preprocess_function = tolower, 
tokenizer = word_tokenizer) 
dtm <- create_dtm(it, vectorizer) 
# get tf-idf matrix from bag-of-words matrix 
dtm_tfidf <- transformer_tfidf(dtm) 

Es ist auf einem Trainingsdatensatz und verwenden Sie diesen Datensatz als Eingabe für ein Modell. Wenn dann neue Daten angetroffen werden (ein Testsatz), muss derselbe DTM für die neuen Daten erstellt werden (dh dieselben Begriffe, die im Trainingssatz verwendet wurden). Gibt es sowieso in dem Paket, um einen neuen Datensatz auf diese Weise zu transformieren (in Scikit haben wir eine Transformationsmethode für genau diese Art von Instanz).

Answer 1

Eigentlich, als ich begann text2vec Ich hielt diese Pipeline an erster Stelle. Jetzt bereiten wir die neue Version mit dem aktualisierten documentation vor.

Für v0.3 folgenden sollte funktionieren:

data("movie_review") 
train_rows = 1:1000 
prepr = tolower 
tok = word_tokenizer 

it <- itoken(movie_review$review[train_rows], prepr, tok, ids = movie_review$id[train_rows]) 
v <- create_vocabulary(it) %>% 
    prune_vocabulary(term_count_min = 5) 

vectorizer <- vocab_vectorizer(v) 
it <- itoken(movie_review$review[train_rows], prepr, tok) 
dtm_train <- create_dtm(it, vectorizer) 
# get idf scaling from train data 
idf = get_idf(dtm_train) 
# create tf-idf 
dtm_train_tfidf <- transform_tfidf(dtm_train, idf) 

test_rows = 1001:2000 
# create iterator 
it <- itoken(movie_review$review[test_rows], prepr, tok, ids = movie_review$id[test_rows]) 
# create dtm using same vectorizer, but new iterator 
dtm_test_tfidf <- create_dtm(it, vectorizer) %>% 
    # transform tf-idf using idf from train data 
    transform_tfidf(idf)