Alle Indizes jedes einzelnen Elements in einer Liste python

Question

Ich arbeite mit einem sehr großen Datensatz (ca. 75 Millionen Einträge) und versuche die Laufzeit meines Codes deutlich zu verkürzen (mit einer Schleife wird es jetzt ein paar Tage dauern) und die Speichernutzung extrem niedrig halten.

Ich habe zwei numpy Arrays (clients und units) der gleichen Länge. Mein Ziel ist es, eine Liste von jedem Index zu erhalten, dass ein Wert in meiner ersten Liste auftritt (clients) und dann eine Summe der Einträge in meiner zweiten Liste bei jedem dieser Indizes zu finden.

Dies ist, was ich habe versucht (np ist die zuvor importierte numpy Bibliothek)

# create a list of each value that appears in clients 
unq = np.unique(clients) 
arr = np.zeros(len(unq)) 
tmp = np.arange(len(clients)) 
# for each unique value i in clients 
for i in range(len(unq)) : 
    #create a list inds of all the indices that i occurs in clients 
    inds = tmp[clients==unq[i]] 
    # add the sum of all the elements in units at the indices inds to a list 
    arr[i] = sum(units[inds]) 

Kennt jemand eine Methode, die mir erlauben, diese Summen zu finden, ohne in unq durch jedes Element Looping?

Answer 1

Mit Pandas, kann dies leicht die grouby() Funktion erfolgen:

import pandas as pd 

# some fake data 
df = pd.DataFrame({'clients': ['a', 'b', 'a', 'a'], 'units': [1, 1, 1, 1]}) 

print df.groupby(['clients'], sort=False).sum() 

dem Sie die gewünschte Ausgabe gibt:

  units 
clients  
a   3 
b   1 

ich die sort=False Option verwenden, da dies zu einer Geschwindigkeit führen könnte -up (Standardmäßig werden die Einträge sortiert, was bei großen Datensätzen einige Zeit dauern kann).

Answer 2

Dies ist eine typische Gruppe-by-Typ-Operation, die elegant und effizient das numpy-indexed Paket mit durchgeführt werden kann (Disclaimer: Ich bin seinen Autor):

import numpy_indexed as npi 
unique_clients, units_per_client = npi.group_by(clients).sum(units) 

Beachten Sie, dass im Gegensatz zu dem Pandas Ansatz gibt es keine Notwendigkeit, eine temporäre Datenstruktur zu erstellen, nur um diese elementare Operation durchzuführen.