Vereinfachung der Routine in Python mit numpy Array oder Pandas

Question

Das erste Problem ist das folgende: Ich habe eine Ausgangsmatrix mit etwa 10 Zeilen und 12 Zeilen. Für alle Linien möchte ich zwei Reihen zusammenfassen. Am Ende muss ich 10 Zeilen haben, aber mit nur 6 Zeilen. Derzeit bin ich die folgende for-Schleife in Python (mit Anfangs die eine Pandas Dataframe ist) tun

for i in range(0,12,2): 
    coarse[i]=initial.iloc[:,i:i+1].sum(axis=1) 

In der Tat bin ich ziemlich sicher, dass etwas effizienter möglich ist. Ich denke etwas wie Listenverständnis, aber für einen DataFrame oder ein numpy Array. Hat jemand eine Idee?

Darüber hinaus möchte ich wissen, ob es besser ist, große numpy Arrays oder Pandas DataFrame zu manipulieren.

Answer 1

Lassen Sie sich einen kleine Probe Datenrahmen erstellen, die Lösung zu veranschaulichen:

np.random.seed(0) 
df = pd.DataFrame(np.random.rand(6, 3)) 

>>> df 
      0   1   2 
0 0.548814 0.715189 0.602763 
1 0.544883 0.423655 0.645894 
2 0.437587 0.891773 0.963663 
3 0.383442 0.791725 0.528895 
4 0.568045 0.925597 0.071036 
5 0.087129 0.020218 0.832620 

Sie Slice-Notation aus der ersten Reihe (::2) und ausgehend von der zweiten Startreihe jede zweite Zeile wählen (1::2). iloc ist für Ganzzahlindizierung. Sie müssen die Werte an diesen Positionen auswählen und sie zusammenfügen. Das Ergebnis ist ein numpliges Array, das Sie bei Bedarf wieder in einen DataFrame konvertieren können.

Sie verwenden Werte, um die Indizierung zu entfernen. Dies ist, was passiert, sonst:

>>> df.iloc[::2] + df.iloc[1::2].values 
      0   1   2 
0 1.093697 1.138844 1.248657 
2 0.821029 1.683498 1.492558 
4 0.655174 0.945815 0.903656 

>>> df.iloc[::2].values + df.iloc[1::2] 
      0   1   2 
1 1.093697 1.138844 1.248657 
3 0.821029 1.683498 1.492558 
5 0.655174 0.945815 0.903656 

Für eine allgemeinere Lösung:

df = pd.DataFrame(np.random.rand(9, 3)) 
n = 3 # Number of consecutive rows to group. 
df['group'] = [idx // n for idx in range(len(df.index))] 

df.groupby('group').sum() 
       0   1   2 
group        
0  1.531284 2.030617 2.212320 
1  1.038615 1.737540 1.432551 
2  1.695590 1.971413 1.902501