Override -j Einstellung für eine Quelldatei?

Question

Ich habe eine test script, die von Stunden bis Tagen dauert. Das Testskript erstellt wiederholt eine Bibliothek und führt seine Selbsttests unter verschiedenen Konfigurationen aus.

Auf Desktops und Servern erfreut sich das Skript einer Beschleunigung, da es -j N verwendet, wobei N die Anzahl der verfügbaren Cores ist. Es dauert ungefähr 2 Stunden, um das Testskript auszuführen.

Auf dev-Boards wie ein LeMaker Hikey (8-core ARM64/2GB RAM) und CubieTruck (8-core ARM/2GB RAM), kann ich nicht -j N (für noch N=2 oder N=4) verwenden, weil eine Datei ein echtes Monster ist und verursacht eine OOM töten. In diesem Fall kann es Tage dauern, bis das Skript ausgeführt wird.

Meine Frage ist, wie kann ich ein make Rezept erstellen, das GNUmake anweist, diese eine Quelldatei mit -j 1 zu behandeln? Ist es überhaupt möglich?

Answer 1

Ich bin mir nicht sicher, ob es möglich ist. Es ist nicht klar, wie Make Jobs zwischen Kernen aufteilt.

4.9 Special Built-in Target Names erwähnt

.NOTPARALLEL

• Wenn .NOTPARALLEL als Ziel genannt wird, dann wird dieser Aufruf von make seriell ausgeführt werden, auch wenn die -j Option gegeben ist. Beliebig rekursiv aufgerufene Make-Befehl wird weiterhin parallel Rezepten ausführen (es sei denn sein Makefile enthält auch dieses Ziel). Alle Voraussetzungen auf dieses Ziel werden ignoriert.

jedoch 5.7.3 Communicating Options to a Sub-make sagt:

Die -j Option ist ein Sonderfall (siehe Parallel Execution). Wenn Sie es bis zu einem gewissen numerischen Wert gesetzt N und Ihr Betriebssystem unterstützt es (fast jedes UNIX-System, andere normalerweise nicht), die Eltern machen und alle Unter Marken kommunizieren werden, um sicherzustellen, dass gibt es nur N Jobs zwischen allen gleichzeitig ausgeführt. Beachten Sie, dass jeder Job, der rekursiven markiert (siehe Statt Ausführen Rezepte) zählt nicht gegen die Gesamtaufträge (sonst könnten wir N Unter macht zum Laufen bringen und haben keine Schlitze für eine wirkliche Arbeit übrig!)

Wenn Ihr Betriebssystem die obige Kommunikation nicht unterstützt, wird -j 1 immer in MAKEFLAGS anstelle des angegebenen Werts angegeben. Dies ist der Fall, wenn die -j Option an Sub-Maker übergeben wurde, würden Sie viel mehr Jobs parallel ausgeführt als Sie gefragt. Wenn Sie -j mit keinem numerischen Argument angeben, dh so viele Jobs wie möglich parallel ausführen, wird dies weitergegeben, da mehrere Unendlichkeiten nicht mehr als eins sind.

Dies deutet darauf hin, dass es keine Möglichkeit gibt, einen bestimmten Auftrag einem einzelnen Kern zuzuordnen.Es lohnt sich, einen Schuss abzugeben.

Answer 2

Machen Sie das große Ziel zuerst, dann alles andere danach parallel.

.PHONY: all 
all: 
    ⋮ 

.PHONY: all-limited-memory 
all-limited-memory: 
    ${MAKE} -j1 bigfile 
    ${MAKE} all 

So, jetzt

• $ make -j16 all funktioniert wie erwartet.
• $ make -j4 all-memory-limited erstellt bigfile seriell (Beenden, wenn Fehler), weitermachen, um den Rest parallel zu tun.