Pandas bekommen Index der höchsten Punktprodukt

Question

Ich habe einen Datenrahmen wie folgt aus:

df1 = pd.DataFrame({'a':[1,2,3,4],'b':[5,6,7,8],'c':[9,10,11,12]}) 
    a b c 
0 1 5 9 
1 2 6 10 
2 3 7 11 
3 4 8 12 

Und ich möchte eine andere Spalte in diesem Datenrahmen schaffen, die für jede Zeile speichert, die andere Reihe die höchste Punktzahl erhält, wenn durchgeführt ein Punktprodukt gegen.

Zum Beispiel für die erste Zeile wir die Punktprodukte gegen die anderen Reihen berechnen werden:

df1.drop(0).dot(df1.loc[0]).idxmax() 
output: 3 

Deshalb ich eine Funktion erstellen:

def get_highest(dataframe): 
    lis = [] 
    for row in dataframe.index: 
     temp = dataframe.drop(row).dot(dataframe.loc[row]) 
     lis.append(temp.idxmax()) 
    return lis 

Und ich bekommen, was ich will mit :

Ok, das funktioniert, aber das Problem ist, dass es überhaupt nicht skaliert. Hier sind die Ausgänge von timeit für unterschiedliche Anzahl der Zeilen:

4 rows: 2.87 ms 
40 rows: 77.1 ms 
400 rows: 700 ms 
4000 rows: 10.4s 

Und ich muss führen dies auf einem Datenrahmen, die etwa 240k Zeilen und Spalten 3.3k hat. Deshalb hier meine Frage: Gibt es eine Möglichkeit, diese Berechnung zu optimieren? (wahrscheinlich, indem Sie es auf andere Weise ansprechen)

Vielen Dank im Voraus.

Answer 1

eine Matrixmultiplikation mit der Transponierten Do:

mat_mul = np.dot(df.values, df.values.T) 

Füllen Diagonalen mit einer kleinen Zahl, so dass sie nicht das Maximum sein kann (vorausgesetzt ich alle positiv, so mit -1 gefüllt, aber Sie können das ändern):

np.fill_diagonal(mat_mul, -1) 

nehmen nun das argmax des Arrays:

df['highest'] = mat_mul.argmax(axis=1) 

Timings auf einem 10K von 4 df:

%%timeit 
mat_mul = np.dot(df.values, df.values.T) 
np.fill_diagonal(mat_mul, -1) 
df['highest'] = mat_mul.argmax(axis=1) 

1 loop, best of 3: 782 ms per loop 

%timeit df['highest'] = get_highest(df) 
1 loop, best of 3: 9.8 s per loop 

Answer 2

Da die Punktprodukte für Paare würde wiederholt werden, wenn sie würde, der endgültige Skalarprodukt-Array für jede Zeile gegenüber jeder anderen Reihe sein, ein symmetrischer einer gekippt werden. Also können wir entweder für die unteren oder oberen dreieckigen Punktproduktelemente berechnen und dann die vollständige Form erhalten, indem wir scipy's squareform verwenden. Daher würden wir eine Implementierung wie so haben -

from scipy.spatial.distance import squareform 

arr = df1.values 
R,C = np.triu_indices(arr.shape[0],1) 
df1['highest'] = squareform(np.einsum('ij,ij->i',arr[R],arr[C])).argmax(1) 

Ausgang für Musterkoffer -

In [145]: df1 
Out[145]: 
    a b c highest 
0 1 5 9  3 
1 2 6 10  3 
2 3 7 11  3 
3 4 8 12  2