Composing Task.async_stream vs. Fortsetzung

Question

Ich habe eine Pipeline von zwei Funktionen, die beide IO-Heavy sind, auf einer Sammlung von Elementen gleichzeitig ausgeführt wird.

Die erste, func1, ist sehr häufig, und oft will ich nur die Antwort von func1 allein. Andere Zeiten, würde ich gerne das Ergebnis von func1 mit einer anderen Funktion, func2 verarbeiten.

Was ist das Trade-offs (Leistung/Overhead, idiomatische-ness) zwischen Task.async_stream Komponieren, das heißt

enum 
|> Task.async_stream(Mod1, :func1, []) 
|> Task.async_stream(Mod2, :func2, []) 
... 

gegen eine Fortsetzung vorbei und mit einer Task.async_stream sowohl für func1 und func2 dh

enum 
|> Task.async_stream(Mod1, :func1_then, [&Mod2.func2/arity]) 
... 

wo func1_then den Funktionsparameter aufruft (Mod2.func2) am Ende der normalen func1 Berechnung?

Answer 1

Wenn beide Funktionen IO gebunden ist, dann sollte es kein Problem mit dem ersten Beispiel sein:

enum 
|> Task.async_stream(Mod1, :func1, []) 
|> Task.async_stream(Mod2, :func2, []) 

Wenn Sie die beiden Anrufe kollabieren wollte, würde ich nicht eine Fortsetzung Stil verwenden, nur Pipeline sie in einem Lambda bestanden Task.async_stream/3:

enum 
|> Task.async_stream(fn x -> x |> Mod1.func1() |> M2.func2() end) 

Alternativ könnten Sie mit Flow:

enum 
|> Flow.from_enumerable() 
|> Flow.map(&Mod1.func1/1) 
|> Flow.map(&Mod2.func2/1) 
|> Flow.run()