So wählen Sie Parameter in TfidfVectorizer in sklearn während des unbeaufsichtigten Clustering

Question

TfidfVectorizer bietet eine einfache Möglichkeit zum Umwandeln von Texten in Vektoren &.

Meine Frage ist, wie die richtigen Werte für Parameter wie min_df, max_features, smooth_idf, sublinear_tf zu wählen?

Update:

Vielleicht sollte ich auf die Frage stellen weitere Details haben:

Was ist, wenn ich mit Bündel von Texten ohne Aufsicht Clustering tue. und ich habe keine Etiketten für die Texte & Ich weiß nicht, wie viele Cluster es sein könnte (was ist eigentlich, was ich versuche herauszufinden)

Answer 1

Wenn Sie zum Beispiel diese Vektoren verwenden Bei einer Klassifizierungsaufgabe können Sie diese Parameter (und natürlich auch die Parameter des Klassifikators) variieren und sehen, welche Werte Ihnen die beste Leistung bringen.

Sie können so leicht mit dem GridSearchCV in sklearn tun und Pipeline-Objekte

pipeline = Pipeline([ 
    ('tfidf', TfidfVectorizer(stop_words=stop_words)), 
    ('clf', OneVsRestClassifier(MultinomialNB(
     fit_prior=True, class_prior=None))), 
]) 
parameters = { 
    'tfidf__max_df': (0.25, 0.5, 0.75), 
    'tfidf__ngram_range': [(1, 1), (1, 2), (1, 3)], 
    'clf__estimator__alpha': (1e-2, 1e-3) 
} 

grid_search_tune = GridSearchCV(pipeline, parameters, cv=2, n_jobs=2, verbose=3) 
grid_search_tune.fit(train_x, train_y) 

print("Best parameters set:") 
print grid_search_tune.best_estimator_.steps