Mischen Threading von c-Funktion mit Python Multiprozessing

Question

Ich schreibe ein Python 2.7.11 Programm unter Linux. Das Programm erstellt 12 Teilprozesse mit Multiprocessing.Pool. Jeder Unterprozess hat CPU-Affinität mit einem der 12 CPUs über die Psutil-Bibliothek für Python.

Ich benutze multiprocessing.Event 11 Teilprozesse für Unterprozess 0.

Dann warten, um in Teilprozesse 0, nenne ich Math Kernel Bibliothek Intel eine Berechnung mit 12 Threads zu starten.

Werden die wartenden Subprozesse irgendwelche CPU-Ressourcen verbrauchen und die Berechnung durch die 12 Threads beeinflussen?

Wenn ja, wie kann man das vermeiden? Oder wie testen, ob das passiert?

Beeinflusst der Hauptprozess die Berechnung durch die 12 Threads?

Danke.

Answer 1

Okay, habe ich eine wenig Forschung und ...

Erstens, da die 12 Fäden in einem einzigen Prozess sind, was passiert in den anderen Teilprozessen sollte nicht den übergeordneten Prozess bewirkt in irgendeiner Weise . Es gibt einige Hintergrundverarbeitungen, die vom Betriebssystem ausgeführt werden, um Interprozesskommunikation zu verarbeiten, die in dem Prozess stattfinden wird, in dem der Betriebssystemkern ist, vermutlich der Elternprozess (Prozess 0). Dies ist jedoch sehr gering und sollte nicht durch Aktivitäten in anderen Prozessen beeinflusst werden.

Mit anderen Worten, schwere Aktivität in einem Prozess sollte keinen anderen Prozess beeinflussen.

Ich würde zwei Dinge vorschlagen.

1) Fügen Sie einen weiteren Prozess hinzu, aus dem Ihre 12 Threads gestartet werden. Dadurch wird es vom übergeordneten Thread getrennt, in dem sich das Betriebssystem befindet.

2) Führen Sie eigene Tests durch. Setzen Sie eine Variable am Anfang jedes Threads mit dem aktuellen Millisekunden-Timer. Überprüfen Sie am Ende der Verarbeitung, wie lange es gedauert hat. Lassen Sie dann die anderen Prozesse sinnlose Gleitkommaberechnungen durchführen und sehen Sie, ob sich dies auf die durchschnittliche Laufzeit der Threads auswirkt.

Wenn Sie etwas über das Time Modul, das Multiprocessing Modul und das Threading Modul nachforschen, sollten Sie das Thema für Sie klären.