Dask.bag Elemente in verschiedene Partitionen gruppieren

Question

Ich fragte mich, ob jemand mir helfen könnte zu verstehen, wie Bag Objekte mit Partitionen umgehen. Einfach gesagt, ich versuche, Elemente in einer Bag Gruppe so gruppieren, dass jede Gruppe in einer eigenen Partition ist. Was mich verwirrt ist, dass die Bag.groupby() Methode nach einer Anzahl von Partitionen fragt. Sollte dies nicht durch die Gruppierungsfunktion impliziert werden? Z. B. zwei Partitionen, wenn die Gruppierungsfunktion einen booleschen Wert zurückgibt?

>>> a = dask.bag.from_sequence(range(20), npartitions = 1) 
>>> a.npartitions 
1 
>>> b = a.groupby(lambda x: x % 2 == 0) 
>>> b.npartitions 
1 

Ich vermisse hier offensichtlich etwas. Gibt es eine Möglichkeit, Bag Elemente in separate Partitionen zu gruppieren?

Answer 1

Im Dies-Beutel können mehrere Gruppen innerhalb einer Partition platziert werden.

In [1]: import dask.bag as db 

In [2]: b = db.range(10, npartitions=3).groupby(lambda x: x % 5) 

In [3]: partitions = b.to_delayed() 

In [4]: partitions 
Out[4]: 
[Delayed(('groupby-collect-f00b0aed94fd394a3c61602f5c3a4d42', 0)), 
Delayed(('groupby-collect-f00b0aed94fd394a3c61602f5c3a4d42', 1)), 
Delayed(('groupby-collect-f00b0aed94fd394a3c61602f5c3a4d42', 2))] 

In [5]: for part in partitions: 
    ...:  print(part.compute()) 
    ...:  
[(0, [0, 5]), (3, [3, 8])] 
[(1, [1, 6]), (4, [4, 9])] 
[(2, [2, 7])]