tflearn Label-Codierung mit einer großen Anzahl von Klassen

Question

Ich versuche, die Convolutional Neural Net example of tflearn anzupassen, um eine Klassifizierung mit ~ 12000 verschiedenen Klassenlabels und mehr als 1 Million Trainingsbeispiele zu tun. Die Anzahl der Etiketten ist anscheinend ein Problem in Bezug auf den Speicherverbrauch, wenn sie nur ein einziges Mal codiert werden. Ich ordne zuerst meine String-Labels kontinuierlichen Ganzzahlen zu, übergebe diese dann als Liste an die to_categorical()-Funktion. Der folgende Code führt zu einem Memory:

trainY = to_categorical(trainY, nb_classes=n_classes) 

Muss ich die Etiketten so kodieren, oder sollte ich eine andere Verlustfunktion als Quer Entropie verwenden? Kann ich mit tflearn in Chargen trainieren - kann ich einen Generator an die DNN.fit() Funktion übergeben?

Danke für jede Beratung!

Answer 1

In der Regressionsschicht link können Sie festlegen, dass die Etiketten, die in sollte auf der Flucht

tflearn.layers.regression(incoming_net, 
          loss = 'categorical_crossentropy', 
          batch_size = 64, 
          to_one_hot = True, 
          n_classes = 12000) 

Auf diese Weise codiert One-Hot-Feed sind Sie bei nicht einen Speicherfehler haben sollte, weil Etiketten während des Trainings chargenpflichtig sein.