Ich lerne seq2seq neuronales Modell und ich werde bei den regulären Softmax und Samples Softmax verwirrt. Mir wurde gesagt, dass die abgetastete Softmax hauptsächlich für große Vokabeln gedacht ist. Kann also jemand intuitiv den Unterschied zwischen den beiden erklären?Was ist der Unterschied zwischen regulärem Softmax und abgetastetem Softmax?
Ein regulärer Softmax ist ein Softmax, bei dem jede Komponente in einer Normalisierungssumme berechnet wird, um alle Ihre Wahrscheinlichkeiten zu summieren. In einem Sampled Softmax müssen Sie normalerweise nur ein paar Komponenten der Softmax-Verteilung haben überspringe im Grunde eine direkte Berechnung eines Normalisierungsfaktors, indem einfach einige Werte aus der vorherigen Verteilung abgetastet werden, sie summiert werden und dies als Annäherung eines Normalisierungsfaktors behandelt wird.