TensorFlow: Definition von Variablen im globalen Gültigkeitsbereich

Question

Ich baue einen Bildklassifizierer in TensorFlow und es gibt eine Klassenungleichheit in meinen Trainingsdaten. Daher muss ich, wenn der Verlust berechnet wird, den Verlust für jede Klasse mit der inversen Häufigkeit dieser Klasse in den Trainingsdaten gewichten.

So, hier ist mein Code:

# Get the softmax from the final layer of the network 
softmax = tf.nn.softmax(final_layer) 
# Weight the softmax by the inverse frequency of the weights 
weighted_softmax = tf.mul(softmax, class_weights) 
# Compute the cross entropy 
cross_entropy = -tf.reduce_sum(y_ * tf.log(softmax)) 
# Define the optimisation 
train_step = tf.train.AdamOptimizer(1e-5).minimize(cross_entropy) 

# Run the training 
session.run(tf.initialize_all_variables()) 
for i in range(10000): 
    # Get the next batch 
    batch = datasets.train.next_batch(64) 
    # Run a training step 
    train_step.run(feed_dict = {x: batch[0], y_: batch[1]}) 

Meine Frage ist: Kann ich class_weights als nur ein tf.constant(...) in globalem Bereich gespeichert werden? Oder muss ich es als ein Parameter weitergeben, wenn cross_entropy berechnet wird?

Der Grund, warum ich mich wundere, ist, dass class_weights für jede Charge unterschiedlich ist. Daher bin ich besorgt, dass, wenn es nur im globalen Gültigkeitsbereich definiert wird, wenn das Tensor Flow-Diagramm konstruiert wird, es nur die Anfangswerte in class_weights nimmt und sie dann nie aktualisiert. Wenn ich die class_weights unter Verwendung der feed_dict beim Berechnen von weighted_softmax passiere, dann sage ich Tensor Flow ausdrücklich, die aktuellen, aktualisierten Werte in class_weights zu verwenden.

Jede Hilfe wäre willkommen. Vielen Dank!

Answer 1

Ich denke, class_weights eine tf.constant ist in Ordnung. Die Klassengewichtung sollte für den gesamten Datensatz und nicht für jeden Minibatch erfolgen.

Auch ein anderer Ansatz, den Sie in Betracht ziehen sollten, ist das Sampling, so dass jeder Batch die gleiche Anzahl von jeder Klasse hat?