laufenden Python-Code auf verteilten Cluster

Question

Ich brauche einige numpy Berechnung auf 5000 Dateien parallel mit Python. Ich habe die sequentielle Einzelmaschinenversion bereits implementiert. Was wäre der einfachste Weg, um den Code parallel zu betreiben (zB mit einem ec2-Cluster)? Soll ich meinen eigenen Aufgabenplaner und Jobverteilungscode schreiben?

Answer 1

Sie können sehen, pscheduler Python-Modul. Damit können Sie Ihre Jobs in eine Warteschlange stellen und sie nacheinander ausführen. Die Anzahl der gleichzeitigen Prozesse hängt von den verfügbaren CPU-Kernen ab. Mit diesem Programm können Sie Ihre Aufträge problemlos auf Remote-Computer hochskalieren und übertragen, aber dann müssen alle Remote-Computer NFS verwenden.

Ich werde glücklich sein, Ihnen weiter zu helfen.