Parallele Verarbeitung mit Python-Klassenobjekt

Question

Ich habe eine for-Schleife in Python, die eine Optimierungsfunktion scipy.optimize.root enthält. Die Funktion outputs ein Klassenobjekt (genannt sol), die die optimierte Ergebnisse beschreibt:

import numpy as np   
import scipy.optimize as so 

def root2d(x,a,b): 
    F1 = np.exp(-np.exp(-(x[0]+x[1]))) - x[1]*(b+x[0]**2) 
    F2 = x[0]*np.cos(x[1]) + x[1]*np.sin(x[0]) - a 
    return (F1,F2) 

x0 = np.array([0.1,0.1]) # initial guess 
alist = np.linspace(-0.5,-0.3,10) 
blist = np.linspace(0.2,0.3,10) 

xlist = np.zeros(10) 
ylist = np.zeros(10) 
zlist = np.zeros(10) 

for jj in range(0,10): 

    a = alist[jj] 
    b = blist[jj] 

    sol = so.root(root2d,x0,args=(a,b),method='lm',tol=1e-9) 

    xlist[jj] = sol.x[0] # optimised value 
    ylist[jj] = sol.x[1] # optimised value 
    zlist[jj] = sol.success # was solver successful? 

# do something with xlist ylist zlist 

Jetzt versuche ich, die for Schleife mit den Vorschlägen in this post parallelisieren. Allerdings bin ich nicht sicher, wie mit den sol Ausgaben zu beschäftigen und wie die oben for Schleife zu schreiben, so dass es in dieser Art von Struktur verwendet werden:

from multiprocessing import Pool 

p = Pool(4) 
xlist,ylist,zlist = zip(*p.map(so.root,range(0,10))) 

, die als Antwort von Nolen Lizenz gegeben wurden.

Edit: Ich möchte mein Programm (nicht diese MWE) auf einem HPC-Cluster, wo die verfügbaren Python-Module sind numpy, scipy, matplotlib, Cython und mpi4py. Obwohl es zahlreiche Methoden für die parallele Verarbeitung gibt, möchte ich nur minimale Änderungen an meinem bestehenden Code (serial for loops) vornehmen.

Answer 1

Um Pool zu verwenden, stellen Sie typischerweise eine Funktion zur Verfügung und rufen Sie Pool.map darauf an.

In Ihrem Fall:

from multiprocessing import Pool 

def run(jj): 
    import scipy.optimize as so 

    a = alist[jj] 
    b = blist[jj] 

    sol = so.root(root2d,x0,args=(a,b),method='lm',tol=1e-9) 

    return sol.x[0], sol.x[1], sol.success 


if __name__ == '__main__': 

    # your declarations go here ... 

    p = Pool(4) 
    result = p.map(run, range(0,10)) 

... die Ihnen eine Liste von Tupeln gibt, die Lösungen, die ...

Answer 2

Der Code in Tw UxTLi51Nus der Post gegeben scheint nicht zu arbeiten Python 3.5.2 aus irgendeinem Grund. Mit einigen Änderungen, wird der folgende Code ok ...

import numpy as np 
import scipy.optimize as so 
from multiprocessing import Pool 

def root2d(x,a,b): 
    F1 = np.exp(-np.exp(-(x[0]+x[1]))) - x[1]*(b+x[0]**2) 
    F2 = x[0]*np.cos(x[1]) + x[1]*np.sin(x[0]) - a 
    return (F1,F2) 

def run(jj): 

    x0 = np.array([0.1,0.1]) # initial guess 
    alist = np.linspace(-0.5,-0.3,10) 
    blist = np.linspace(0.2,0.3,10) 

    a = alist[jj] 
    b = blist[jj] 

    sol = so.root(root2d,x0,args=(a,b),method='lm',tol=1e-9) 

    return sol.x[0], sol.x[1], sol.success 


if __name__ == '__main__': 

    xlist = np.zeros(10) 
    ylist = np.zeros(10) 
    zlist = np.zeros(10) 

    p = Pool(4) 
    result = p.map(run, range(0,10)) 
    print(result) 

Ich habe die iterierten Werte alist, blist und anfängliche Schätzung x0 innerhalb der run Funktion zu setzen hatte. Diese werden in den scipy.optimize.root Solver eingespeist. Es gibt keine Fehler, wenn ich dies tun, und die Lösungen sind:

[(-0.53888782445459149, 0.043495493090149454, True), 
(-0.52328348126598456, 0.032937536902490253, True), 
(-0.50743370799474086, 0.022462155879391384, True), 
(-0.49135105437855231, 0.01203948230426068, True), 
(-0.47502920008575156, 0.001732198125265777, True), 
(-0.45846822054716679, -0.0084225504551842089, True), 
(-0.4416527225847745, -0.018336039419045602, True), 
(-0.42455931996843449, -0.027893297385455082, True), 
(-0.40720848051853215, -0.037005663686040566, True), 
(-0.38955545334271019, -0.045486751099290013, True)]