So verwenden Sie das Tflearn-Deep-Learning für die Dokumentklassifikation

Question

Ich verwende tflearn und tensorflow, um Dokumente zu klassifizieren. Allerdings habe ich Probleme mit der Größe des Dokuments und der Trainingszeit, die Länge meines größten Dokuments beträgt ~ 98000 Wörter und die Verwendung dieses für das Gebäude wird das Netzwerk extrem zeitaufwendig sein. Ich habe verschiedene Methoden untersucht, um die Dimensionen der Daten zu reduzieren, oder eine Technik, die schnell genug ist, um das Modell zu trainieren. Ich habe doc2vec und word2vec gesehen und die entsprechenden Modelle gebaut, bin mir aber nicht sicher, wie ich sie mit tflearn verwenden soll. Ich klassifiziere die Dokumente auch, indem ich das doc2vec- und das word2vec-Modell erstelle und den Merkmalsvektor durch Mittelung der Merkmalsvektoren aller Wörter erhält, die im Modellvokabular im Dokument vorhanden sind. Kann ich diesen letzten Merkmalsvektor für DNN verwenden oder hat jemand andere Vorschläge, die ich verwenden kann.

Answer 1

Sie können einfach Dokumentklassifikationsmodelle mit TensorFlow erstellen und in die TF.Learn-Bibliothek integrieren.

Es gibt auch Beispiele für die verschiedenen Dokumentklassen-Modelle in den Beispielen Ordner: https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/learn#text-classification

Das schnellste Modell für jede Länge Dokument Bag of Words Modell sein wird - eine, die im Durchschnitt Einbettungen von Wörtern. Dies ist die empfohlene Basis für alle Dokumentklassifikationsprobleme. Dann können Sie kompliziertere Modelle wie RNNs oder CNNs ausprobieren.

Hier Codebeispiel dafür:

def bag_of_words_model(features, target): 
    """A bag-of-words model. Note it disregards the word order in the text.""" 
    target = tf.one_hot(target, 15, 1, 0) 
    features = tf.contrib.layers.bow_encoder(
     features, vocab_size=n_words, embed_dim=EMBEDDING_SIZE) 
    logits = tf.contrib.layers.fully_connected(features, 15, activation_fn=None) 
    loss = tf.losses.softmax_cross_entropy(target, logits) 
    train_op = tf.contrib.layers.optimize_loss(
     loss, 
     tf.contrib.framework.get_global_step(), 
     optimizer='Adam', 
     learning_rate=0.01) 
    return ({ 
    'class': tf.argmax(logits, 1), 
    'prob': tf.nn.softmax(logits) 
    }, loss, train_op) 

Für weitere Details, wie es laufen, finden Sie hier - https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/learn/text_classification.py

Sie leicht mehr vollständig verbundenen Schichten (zB DNN Teil) durch Zusatz erweitern können tf.contrib.layers.fully_connected vor logits werden berechnet.

Sie können auch Einbettungen von vortrainierten Prüfpunkten mit word2vec oder anderen Einbettungen mithilfe von tf.contrib.framework.init_from_checkpoint (10) initialisieren.