Line: 1 to 1 | ||||||||
---|---|---|---|---|---|---|---|---|
Brevi istruzioni cluster tnt (nato nel 2020 con i fondi PRIN CO-NEST)ACCESSOssh -X utente@pgls_login.artov.rm.cnr.itHOME DIRECTORYla home di ogni utente si trova in un grande disco esterno da 5Tb (totali); la home e' il luogo dove tenere i vostri dati (backup) e tutti gli script ed eseguibili che si vogliono conservare; la home NON e' il posto dove le simulazioni scrivono durante l'esecuzioneESECUZIONE DI UN JOBi programmi vanno lanciati usando il sistema di code che si occupa di allocare ogni programma sul nodo piu' libero; si prega di non lanciare programmi direttamente da terminale perche' questi verrebbero eseguiti dal nodo di login che ha pochissime risorse; il modo per eseguire un job tramite sistema di code e' il seguente 1) scrivere uno script di esecuzione, si consiglia di farlo in bash, chiamandolo (ad esempio) submit.sh; qui c'e' un esempio funzionante che vi suggeriamo di seguire (adattandolo un poco con le istruzioni che seguono)#!/bin/bash #SBATCH --chdir=/mnt/ssd/puglisi/ #SBATCH --job-name=test #SBATCH --error=slurm-%A.err #SBATCH --output=slurm-%A.out #SBATCH --ntasks=1 mkdir nuovadirectory cd nuovadirectory cp /home/puglisi/eseguibili/disks . srun ./disks mv * /home/puglisi/risultati cd .. | ||||||||
Changed: | ||||||||
< < | rmdir nuovadirectory | |||||||
> > | rm -fr nuovadirectory | |||||||
mv "slurm-"$SLURM_JOB_ID".out" /home/puglisi/risultati
mv "slurm-"$SLURM_JOB_ID".err" /home/puglisi/risultati
2) eseguire lo script con il comando sbatch submit.sh 3) controllare l'esecuzione del job con il comando squeue MODIFICARE LO SCRIPTlo script di esempio si deve modificare in molte parti:#!/bin/bash OBBLIGATORIA #SBATCH --chdir=/mnt/ssd/puglisi/ OBBLIGATORIA (ma cambiare "puglisi" nel vostro user) #SBATCH --job-name=test OBBLIGATORIA (ma ovviamente conviene cambiare il nome "test") #SBATCH --error=slurm-%A.err UTILE (in questo file viene scritto stderr) #SBATCH --output=slurm-%A.out UTILE (in questo file viene scritto stdout) #SBATCH --ntasks=1 UTILE (in particolare se volete occupare pių processori ad es. per cose in parallelo) mkdir nuovadirectory IMPORTANTE (ogni simulazione dovrebbe girare in una dir diversa per non rischiare che si sovrapponga ad altre) cd nuovadirectory IMPORTANTE (se create una dir ci dovete entrare) cp /home/puglisi/eseguibili/disks . OBBLIGATORIA (il vostro programma/simulazione deve essere copiato da dove si trova a dove siete ora) srun ./disks OBBLIGATORIA (esegue la simulazione) | ||||||||
Changed: | ||||||||
< < | mv * /home/puglisi/risultati IMPORTANTE (copiate i dati che ha generato il vostro programma in una cartella nella home, da modificare a piacere) | |||||||
> > | mv * /home/puglisi/risultati IMPORTANTE (spostate i dati che ha generato il vostro programma in una cartella nella home, da modificare a piacere) | |||||||
cd .. IMPORTANTE (uscite dalla dir se ci eravate entrati) | ||||||||
Changed: | ||||||||
< < | rmdir nuovadirectory IMPORTANTE (cancellate la dir che non serve pių) | |||||||
> > | rm -fr nuovadirectory IMPORTANTE (cancellate la dir che non serve pių) | |||||||
mv "slurm-"$SLURM_JOB_ID".out" /home/puglisi/risultati UTILE (se volete ritrovare anche il file con lo stdout lo copiate nel posto dove tenete i risultati) | ||||||||
Changed: | ||||||||
< < | mv "slurm-"$SLURM_JOB_ID".err" /home/puglisi/risultati UTILE (se volete ritrovare anche il file con lo stdout lo copiate nel posto dove tenete i risultati) | |||||||
> > | mv "slurm-"$SLURM_JOB_ID".err" /home/puglisi/risultati UTILE (se volete ritrovare anche il file con lo stderr lo copiate nel posto dove tenete i risultati) | |||||||
le righe mkdir e cd vanno modificate con un nome di directory specifico (temporaneo) per quella simulazione (per evitare che diverse simulazioni scrivano sulle stesse directory); l'eseguibile ovviamente lo scegliete voi; le righe finali ("mv ....") vanno personalizzate con molta attenzione: e' vostra cura spostare tutto quello che e' stato prodotto dalla simulazioni e che ritenete necessario conservare dalla dir dove ha girato alla home, in una directory apposita (vostra cura evitare di sovrascrivere altri vostri dati); č anche importante cancellare la directory temporanea dove ha girato la simulazione: facendo in questo modo tutto quel che non viene spostato (con i comandi "mv...") viene perso; ovviamente potete anche non mettere questi comandi alla fine, ma questo significa accumulare dati nei dischi dei nodi rischiando di finire lo spazio (nei nodi lo spazio e' molto minore); gli amministratori periodicamente libereranno spazio nei dischi dei nodi
ALTRA DOCUMENTAZIONE PER IL SISTEMA DI CODE: il sistema di code si chiama "slurm" ed e' molto ben documentato (ed e' pieno di opzioni), si veda https://slurm.schedmd.com/documentation.html![]() ![]() ![]() ![]() Comments\ No newline at end of file |