Der schnellste Weg in Python, doppelte IDs zu verschmelzen und zu entfernen

Question

Ich habe zwei verschiedene Abfragesätze, die ich zusammenführen muss und dann doppelte IDs entfernen. Es gibt über eine Million Aufzeichnungen.

list_a = Wharehouse.orders.all().values_list('id', flat=True) 
list_b = Shops.orders.all().values_list('id', flat=True) 

Gibt es eine schnelle pythonische Art, dies zu tun?

Ich kann mir vorstellen, ein Listenverständnis zu verwenden und jeden Wert zu wiederholen. Aber, könnte das in numply besser/schneller oder vielleicht ein Set getan werden? Die Ausgabe muss nur eine Liste von IDs sein.

Ich benutze Python 3.4 und Django mit numpy 1.11.0 Pip installiert.

Answer 1

Angenommen, list_a und list_b sind Listen von Ganzzahlen, könnten Sie np.union1d(list_a, list_b) verwenden. Mit:

import numpy as np 
N = 10**6 
list_a = np.random.randint(2*10**6, size=N).tolist() 
list_b = np.random.randint(2*10**6, size=N).tolist() 

---

Hier ist ein Benchmark np.union1d was darauf hindeutet, schneller sein kann, wenn sie mit rund einer Million Elementen auf Listen angewendet:

In [32]: %timeit np.union1d(list_a, list_b) 
1 loop, best of 3: 296 ms per loop 

In [40]: %timeit set(list_a + list_b) 
1 loop, best of 3: 308 ms per loop 

In [31]: %timeit set(list_a).union(list_b) 
1 loop, best of 3: 338 ms per loop 

In [33]: %timeit list(set(list_a + list_b)) 
1 loop, best of 3: 382 ms per loop 

Hinweis, natürlich, dass np.union1d eine NumPy Array zurückgibt, während set und list Python-Objekte des gleichnamigen Typs zurückgeben, so ist der Benchmark zu einem gewissen Grad ein Apfel-zu-Orange-Vergleich.

Answer 2

Versuchen Sie, es auf set zu werfen, um die Duplikate zu entfernen. Sie können es dann zu einer Liste zurückgeben. Verwenden Sie zum Verketten der Listen den Operator +. Es wird genau diese (zumindest mit normalen Listen)

merged = list(set(list_a + list_b)) 

Answer 3

Eine Möglichkeit ist Sets.

Wir schaffen 2 Sätze set_a und set_b zu verwenden. set_a enthält alle IDs von Wharehouse Objekte. set_b enthält alle Shops IDs. Um nun alle eindeutigen IDs zu kombinieren, verwenden wir union Operation auf Sets. final_set enthält alle gewünschten eindeutigen IDs.

set_a = set(Wharehouse.orders.all().values_list('id', flat=True)) 
set_b = set(Shops.orders.all().values_list('id', flat=True)) 

final_set = set_a.union(set_b) # contains all unique ids combined 

Answer 4

shops_query=Shops.orders.all().values_list('id', flat=True) 
result = Wharehouse.orders.all().exclude(id__in=shops_query).values_list('id', flat=True) 

die DB die Arbeit machen lassen.