Verarbeitung einer Liste von Dateien in SLURM

Question

Ich bin neu in SLURM. Ich möchte eine lange Liste von Dateien parallel bearbeiten. Insbesondere habe ich ein Skript ein einzelnes wie

./process.sh filename 

Jetzt möchte ich verarbeiten viele Dateien in einer Dateiliste verarbeiten, wie

file1 
file2 
file3 
... 
file10000 

Wie kann ich die Dateiliste parallel verarbeiten (das heißt, mit 16 CPUs) mit SLURM?

Answer 1

Vielleicht können Sie --array Option verwenden. Wenn Ihre Rechenknoten zum Beispiel freigegeben sind, sollte das folgende Jobskript nahe bei dem sein, was Sie tun möchten.

#SBATCH -J JOBNAME 
#SBATCH -o JOBNAME.%J.stdout 
#SBATCH -e JOBNAME.%J.stderr 
#SBATCH -n 1 
#SBATCH --array 1-10000 

./process.sh file${SLURM_ARRAY_TASK_ID}