Python-Subprozess: Zu viele geöffnete Dateien

Question

Ich benutze Subprozess, um ein anderes Programm aufzurufen und seine Rückgabewerte in einer Variablen zu speichern. Dieser Prozess wird in einer Schleife wiederholt, und nach ein paar tausend Mal das Programm abgestürzt ist mit dem folgenden Fehler:

Traceback (most recent call last): 
    File "./extract_pcgls.py", line 96, in <module> 
    SelfE.append(CalSelfEnergy(i)) 
    File "./extract_pcgls.py", line 59, in CalSelfEnergy 
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
    File "/usr/lib/python3.2/subprocess.py", line 745, in __init__ 
    restore_signals, start_new_session) 
    File "/usr/lib/python3.2/subprocess.py", line 1166, in _execute_child 
    errpipe_read, errpipe_write = _create_pipe() 
OSError: [Errno 24] Too many open files 

Jede Idee, wie dieses Problem zu lösen, ist sehr zu schätzen!

-Code von Kommentaren geliefert:

cmd = "enerCHARMM.pl -parram=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
out, err = p.communicate() 

Answer 1

Ich denke, das Problem auf die Tatsache zurückzuführen war, dass ich die Verarbeitung eine geöffnete Datei mit Subprozess:

cmd = "enerCHARMM.pl -par param=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 

Hier die cmd varia ble enthält den Namen einer Datei, die gerade erstellt, aber nicht geschlossen wurde. Dann ruft der subprocess.Popen einen Systembefehl für diese Datei auf. Nachdem dies viele Male gemacht wurde, stürzte das Programm mit dieser Fehlermeldung ab.

So ist die Botschaft, die ich daraus gelernt habe, ist

Close the file you have created, then process it

Dank

Answer 2

Sie können versuchen, die geöffnete Datei Grenze des OS erhöhen:

ulimit -n 2048

Answer 3

Datei in subprocess öffnet. Es blockiert den Anruf.

ss=subprocess.Popen(tempFileName,shell=True) 
ss.communicate() 

Answer 4

In Mac OSX (El Capitan) aktuelle Konfiguration Siehe:

#ulimit -a 
core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 256 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

Set geöffneten Dateien Wert auf 10K:

#ulimit -Sn 10000 

Ergebnisse überprüfen:

#ulimit -a 

core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 10000 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

Answer 5

Ein Kindprozess, der von Popen() erstellt wurde, kann offene Dateideskriptoren (eine endliche Ressource) vom übergeordneten Objekt erben. Verwenden Sie close_fds=True auf POSIX (Standard seit Python 3.2), um es zu vermeiden. Auch "PEP 0446 -- Make newly created file descriptors non-inheritable" deals with some remaining issues (since Python 3.4).

Answer 6

Wie andere erwähnt haben, heben die Grenze in /etc/security/limits.conf und auch war Filedeskriptoren ein Thema für mich persönlich, so habe ich

sudo sysctl -w fs.file-max=100000 

und eine Linie mit fs.file hinzugefügt -max = 100000 /etc/sysctl.conf (nachladen mit sysctl -p)

auch wenn Sie sicherstellen möchten, dass Ihr Prozess nicht durch irgendetwas anderes beeinflusst wird (die Mine war), verwenden

cat /proc/{process id}/limits 

zu finden heraus, was die tatsächlichen Grenzen Ihres Prozesses sind, da für mich die Software, die die Python-Skripte ausführt, auch ihre Grenzen hatte, die die systemweiten Einstellungen außer Kraft gesetzt haben.

Veröffentlichen Sie diese Antwort hier nach der Auflösung meines speziellen Problems mit diesem Fehler und hoffentlich hilft es jemandem.