Wie simuliert man in TensorFlow Schwebekörper mit reduzierter Präzision?

Question

Ich möchte einen Weg, um die Präzision der Schwimmer in TensorFlow (ungefähr: die Mantisse zu kürzen) auf eine beliebige Anzahl von Bits innerhalb eines definierten vollen Bereichs zu reduzieren. Ich muss den Code nicht vollständig mit reduzierter Genauigkeit schreiben (wie tf.float16), sondern vielmehr mit einer Reihe von Operationen, die die Genauigkeit eines Tensors reduzieren und dabei den ursprünglichen Typ beibehalten (zB tf.float32).

Wenn beispielsweise der gesamte Bereich 0 bis 1 ist und die Genauigkeit 8 Bit beträgt, wird 0,1234 rund (0,1234 * 256)/256 = 0,125. Dies verwendet eine einfache Rundung.

Ich würde auch gerne statistische Rundung machen, wo die Wahrscheinlichkeit der Rundung in jeder Richtung proportional dazu ist, wie weit der Wert davon ist. Beispiel: 0,1234 * 256 = 31,5904, was in 59% der Fälle auf 32/256 und in 41% der Fälle auf 31/256 aufrundet.

Zusätzliche Frage: Wie man ein vorhandenes Diagramm nimmt und es ändert, um Rundung nach jeder Faltung hinzuzufügen?

Answer 1

Der einzige schwierige Teil besteht darin, die Verläufe für den Rundungsvorgang bereitzustellen. Der bereits implementierte tf.round hat keinen Gradienten implementiert. Aber Sie können Ihre eigene Rundungsoperation (statistische oder einfache Rundung arbeiten beide) implementieren, wie hier gezeigt: Tensorflow: How to write op with gradient in python?

Wo können Sie einfach verwenden:

grad(round(T)) = round(grad(T)) 

Nun, wenn Sie sich ein persönliches round Betrieb haben, die Steigungen über Sie können einfach tun:

def reduce_precision(tensor, precision_bits=8): 
    N = 2**precision_bits 
    return round(N * tensor)/N 

Und für die stochastische Rundung, können Sie eine einfache numpy Funktion wie

erstellen

def stochastic_round(x): 
    r,f = np.modf(x) 
    return r + np.random.binomial(1,r) 

und dann tensoflow-ize es wie in How to make a custom activation function with only Python in Tensorflow?

gezeigt, wo Sie es Steigung Betrieb als

def grad_stochastic_round(op, grad): 
    return stochastic_round(grad)