Ich versuche seq2seq.dynamic_decode von Tensorflow zu verwenden, um ein Sequenz-Sequenz-Modell zu erstellen. Ich habe den Encoder-Teil bereits fertiggestellt. Ich bin verwirrt über den Decoder als decoder_outputs
scheint [batch_size x sequence_length x embedding_size]
zurückzukehren, aber ich brauche die tatsächlichen Wortindizes, um meinen Verlust korrekt zu berechnen [batch_size x sequence_length]
. Ich frage mich, ob einer meiner Shape-Inputs falsch ist oder ob ich gerade etwas vergessen habe.
Decoder und Encoder Zelle sind rnn.BasicLSTMCell()
.Wie verwende ich Tensorflow v1.1 seq2seq.dynamic_decode?
# Variables
cell_size = 100
decoder_vocabulary_size = 7
batch_size = 2
decoder_max_sentence_len = 7
# Part of the encoder
_, encoder_state = tf.nn.dynamic_rnn(
cell=encoder_cell,
inputs=features,
sequence_length=encoder_sequence_lengths,
dtype=tf.float32)
# ---- END Encoder ---- #
# ---- Decoder ---- #
# decoder_sequence_lengths = _sequence_length(features)
embedding = tf.get_variable(
"decoder_embedding", [decoder_vocabulary_size, cell_size])
helper = seq2seq.GreedyEmbeddingHelper(
embedding=embedding,
start_tokens=tf.tile([GO_SYMBOL], [batch_size]),
end_token=END_SYMBOL)
decoder = seq2seq.BasicDecoder(
cell=decoder_cell,
helper=helper,
initial_state=encoder_state)
decoder_outputs, _ = seq2seq.dynamic_decode(
decoder=decoder,
output_time_major=False,
impute_finished=True,
maximum_iterations=self.decoder_max_sentence_len)
# I need labels (decoder_outputs) to be indices
losses = nn_ops.sparse_softmax_cross_entropy_with_logits(
labels=labels, logits=logits)
loss = tf.reduce_mean(losses)