mehrere qsub-Befehle gleichzeitig

Question

Ich verwende den Rechencluster meiner Abteilung mit Sun Grid Engine.

Wenn ich mehrere R-Jobs ausführen muss, schreibe ich Shell-Skriptdateien mit den Namen s01.sh, s02.sh, ..., s50.sh, die 'R CMD BATCH r01.r', 'R CMD BATCH r02.r ', ...,' R CMD BATCH r50.r 'als Inhalt.

Dann öffne ich 'PUTTY', logge mich ein und muss dann 'qsub s01.sh', 'qsub s02.sh' .... etc eingeben.

Wenn es Hunderte von Jobs gibt, ist es eine echte Arbeit, Hunderte von Jobs manuell einzugeben. Gibt es eine Möglichkeit, diese mehreren "Qsub" -Befehle gleichzeitig auszuführen?

Answer 1

Ich denke, Sie müssen nur die qsub Befehle nacheinander ausführen, da qsub selbst ziemlich schnell sein sollte. (Die übergebenen Befehle werden wahrscheinlich parallel ausgeführt.)

Sie brauchen nur eine Schleife.

Sie bereits die r*.r Dateien erstellt haben Angenommen, das ist einfach, mit einem kleinen Shell-Skript zu tun:

#!/bin/bash 

for file in r*.r ; do 
    script=$(echo $file | sed 's/^r/s/;s/\.r$/.sh/') 
    ( 
     echo "#/bin/sh" 
     echo "R CMD BATCH $file" 
    ) > $script 
    chmod +x $script 
    qsub $script 
done 

Answer 2

Ich gehe davon aus, dass die Skripte sind im aktuellen Ordner ausgeführt werden.

for file in s*.sh; do; qsub $file; done