Elixir lang Bearbeitungslisten parallel

Question

Ich habe derzeit ein Problem, die Bearbeitung von Listen in Elixier parallel. Der Grund für die Parallelität ist, dass ich die Ergebnisse in einer API speichere und wenn ich sie alle auf einmal in die Luft sprenge, wird es DDOS'd und wird heruntergefahren.

Der folgende Code soll das Ergebnis einer SQL Abfrage aufteilen und jede Zeile in einer separaten Aufgabe verarbeiten und wenn alle Aufgaben abgeschlossen sind, sollte es beendet werden.

Was passiert ist, dass die erste Aufgabe nach dem Absetzen einer Nachricht das Skript beendet. Ich habe Antworten gesehen, wo sie den Empfang in eine Funktion setzen und diese Funktion ruft sich immer wieder auf, aber ich habe das Gefühl, dass es noch einen besseren Weg geben muss, damit umzugehen.

results = Enum.chunk(results, 500) 

# Give this process a name 
Process.register(self(), :core) 

# Loop over the chunks making a process for each 
Enum.each results, fn(result) -> 
    task = Task.async(fn -> Person.App.process(result, "Test", "1") end) 
end 

# And listen for messages 
receive do 
    {:hello, msg} -> IO.inspect msg 
    {:world, _} -> "won't match" 
end 

Answer 1

Wenn Task.async mit es am zweckmäßigsten, das Ergebnis mit Task.await zu erhalten:

results 
|> Enum.map(fn result -> Task.async(fn -> Person.App.process(result, "Test", "1") end) end) 
|> Enum.map(&Task.await/1) 
|> Enum.each(&IO.inspect/1) 

In der Tat, wenn Sie für das Ergebnis der async nicht await tun es immer noch an den Prozess gesendet werden, dass genannt async und in seiner Mailbox gespeichert, wodurch möglicherweise ein Speicherleck! Wenn Sie eine Task erstellen wollen, in der Sie sich nicht um das Ergebnis kümmern, verwenden Sie stattdessen Task.start oder Task.start_link.