0
Ich bin mit der nce_loss Aktivierungsfunktion im word2vec Modell fest. Ich möchte herausfinden, was Aktivierungsfunktion es unter all diesen Verwendungen here aufgeführt:Welche Aktivierungsfunktion wird im nce_loss verwendet?
Dazu gehören glatte Nichtlinearitäten (sigmoide, tanh, elu, softplus, und softsign), kontinuierliche, aber nicht überall differenzierbare Funktionen (relu, relu6, crelu und relu_x) und zufällige Regularisierung (Dropout).
Ich habe es in this function und woanders gesucht, aber gescheitert, irgendwelche Ideen zu bekommen. Ich nehme an es ist die Relog * Serie. Irgendwelche Hinweise bitte?
Aber ich bitte zu unterscheiden, zu graben tiefer ich feststellen, dass die crossEntropy implementiert ist [mit der relu] (https://github.com/tensorflow/tensorflow/blob/131c3a67a7b8d27fd918e0bc5bddb3cb086de57e/tensorflow/python/ops/nn_impl.py# L169). – lerner