Speicherverbrauch begrenzen?

Question

Ich habe Python 2.7 auf einem Linux-Rechner mit 16 GB RAM und 64-Bit-Betriebssystem. Ein Python-Skript, das ich geschrieben habe, kann zu viele Daten in den Speicher laden, was die Maschine so verlangsamt, dass ich den Prozess nicht mehr beenden kann.

Während ich Speicher durch den Aufruf begrenzen:

ulimit -v 12000000 

in meiner Schale, bevor Sie das Skript ausgeführt wird, würde Ich mag eine Begrenzung Option im Skript selbst aufzunehmen. Überall, wo ich hinsah, wird das Modul resource mit der gleichen Leistung wie ulimit zitiert. Aber rufen:

import resource 
_, hard = resource.getrlimit(resource.RLIMIT_DATA) 
resource.setrlimit(resource.RLIMIT_DATA, (12000, hard)) 

am Anfang meines Skripts tut absolut nichts. Selbst wenn der Wert so niedrig wie 12000 gesetzt wurde, stürzte der Prozess nie ab. Ich habe das gleiche mit RLIMIT_STACK versucht, auch mit dem gleichen Ergebnis. Seltsamerweise ruft:

import subprocess 
subprocess.call('ulimit -v 12000', shell=True) 

tut auch nichts.

Was mache ich falsch? Ich konnte keine tatsächlichen Anwendungsbeispiele online finden.

Answer 1

resource.RLIMIT_VMEM ist die Ressource corresponding to ulimit -v.

RLIMIT_DATAonly affects brk/sbrk system calls während newer memory managers tend to use mmap instead.

Die zweite Sache zu beachten ist, dass ulimit/setrlimit nur den aktuellen Prozess und seine zukünftigen Kinder betrifft.

In Bezug auf die AttributeError: 'module' object has no attribute 'RLIMIT_VMEM' Nachricht: die resource module docs diese Möglichkeit erwähnen:

This module does not attempt to mask platform differences — symbols not defined for a platform will not be available from this module on that platform.

Nach dem bashulimit source oben verbunden, verwendet es RLIMIT_AS wenn RLIMIT_VMEM nicht definiert ist.