Warum ist es schneller, float by float matrix multiplication im Vergleich zu int by int auszuführen?

Question

Mit zwei int-Matrizen A und B, mit mehr als 1000 Zeilen und 10K Spalten, muss ich sie oft in Float-Matrizen konvertieren, um eine Beschleunigung (4x oder mehr) zu erhalten.

Ich frage mich, warum ist das der Fall? Ich stelle fest, dass es viele Optimierungen und Vektorisierungen wie AVX usw. gibt, die mit der Multiplikation der Gleitkomma-Matrix fortfahren. Aber es gibt Anweisungen wie AVX2, für ganze Zahlen (wenn ich mich nicht irre). Und kann man SSE und AVX nicht für Ganzzahlen verwenden?

Warum gibt es keine Heuristik unter Matrixalgebra-Bibliotheken wie Numpy oder Eigen, um dies zu erfassen und ganzzahlige Matrixmultiplikation schneller auszuführen, genau wie float?

über akzeptierte Antwort: Während @ sascha Antwort sehr informativ und relevant ist, die Antwort von @ chatz ist der eigentliche Grund, warum der int durch int Multiplikation langsam ist unabhängig davon, ob BLAS ganzzahlige Matrix-Operationen existieren.

Answer 1

Wenn Sie diese beiden einfachen Funktionen zusammenstellen, die im Wesentlichen nur ein Produkt berechnen (die Eigen-Bibliothek)

#include <Eigen/Core> 

int mult_int(const Eigen::MatrixXi& A, Eigen::MatrixXi& B) 
{ 
    Eigen::MatrixXi C= A*B; 
    return C(0,0); 
} 

int mult_float(const Eigen::MatrixXf& A, Eigen::MatrixXf& B) 
{ 
    Eigen::MatrixXf C= A*B; 
    return C(0,0); 
} 

die Flaggen mit -mavx2 -S -O3 Sie sehr ähnlich Assembler-Code sehen werden, für die Ganzzahl und dem Schwimmer-Version. Der Hauptunterschied ist jedoch, dass vpmulld hat 2-3 mal die Latenz und nur 1/2 oder 1/4 der Durchsatz von vmulps. (Auf aktuellen Intel-Architekturen)

Bezug: Intel Intrinsics Guide, "Durchsatz" bedeutet den reziproken Durchsatz, d. H. Wie viele Taktzyklen pro Operation verwendet werden, wenn keine Latenz auftritt (etwas vereinfacht).

Answer 2

Alle diese Vektorvektor- und Matrixvektoroperationen verwenden intern BLAS. BLAS, über Jahrzehnte für verschiedene Archs, CPUs, Instruktionen und Cache-Größen optimiert, hat keinen Integer-Typ!

Here is some branch of OpenBLAS arbeitet daran (und einige tiny discussion at google-groups linking it).

Und ich denke, ich hörte Intels MKL (Intels BLAS-Implementierung) might be working on integer-types too. This talk sieht interessant aus (erwähnt in diesem Forum), obwohl es kurz ist und wahrscheinlich näher kleine integrale Typen nützlich in Embedded Deep-Learning).