devel:cluster
Differences
This shows you the differences between two versions of the page.
Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
devel:cluster [2017/06/28 14:40] – papeleux | devel:cluster [2017/06/28 16:14] (current) – papeleux | ||
---|---|---|---|
Line 134: | Line 134: | ||
< | < | ||
Actions: | Actions: | ||
- | b/ exec name : '/home/ | + | b/ exec name : '../Metafor/ |
- | c/ test filename | + | c/ test filename |
d/ logfile (no ext) : ' | d/ logfile (no ext) : ' | ||
e/ algorithm | e/ algorithm | ||
g/ Run multiple test on dir : False | g/ Run multiple test on dir : False | ||
j/ nb of task launched in parallel | j/ nb of task launched in parallel | ||
- | k/ nb of threads by task : '1' | + | k/ nb of threads by task : '12' |
m/ Run Method | m/ Run Method | ||
n/ Queue name : ' | n/ Queue name : ' | ||
o/ Metafor run on node local disk : True | o/ Metafor run on node local disk : True | ||
- | p/ Total Memory (Mb) : '1000' | + | p/ Total Memory (Mb) : '5000' |
q/ Time (d-hh: | q/ Time (d-hh: | ||
u/ ftp transfert | u/ ftp transfert | ||
Line 152: | Line 152: | ||
Q/ QUIT | Q/ QUIT | ||
- | Your choice? | + | |
</ | </ | ||
Line 161: | Line 162: | ||
Metafor est capable d' | Metafor est capable d' | ||
- | <note warning> | + | Soyez attentif aux paramètres |
- | ATTENTION : A ce jour, la configuration des queues via SGE ou le script | + | et de temps de calcul demandés ("'' |
- | Conclusion : ne demandez pas plus d'1 tâche à la fois par '' | + | |
- | < | + | |
- | j/ nb of task launched in parallel | + | |
- | </ | + | |
- | (=> splittez vos tests dans plusieurs répértoires | + | |
- | </note> | + | |
- | Une fois que le job est lancé, | + | Une fois que le job est lancé, |
- | qstat -f | + | |
- | Voilà ce que ça peut donner: | + | |
< | < | ||
- | boman@fabulous: | + | Your choice? go in slurm |
- | queuename | + | sending job 'Tests.banc18ER.casingRotAnalysis.WingletBlade.Coarse3250Eas' |
- | --------------------------------------------------------------------------------- | + | Submitted batch job 451 |
- | all.q@node001.cm.cluster | + | Submission SUCCESSFUL! |
- | 72 0.58500 fullblade7 boman r | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node002.cm.cluster | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node003.cm.cluster | + | |
- | 69 0.50500 barbara04f boman r | + | </code> |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node004.cm.cluster | + | |
- | 73 0.56500 fullblade7 boman r | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node005.cm.cluster | + | |
- | 74 0.54500 fullblade7 boman r | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node006.cm.cluster | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node007.cm.cluster | + | |
- | 76 0.50500 fullblade7 boman r | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node008.cm.cluster | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node009.cm.cluster | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node010.cm.cluster | + | |
- | 75 0.52500 fullblade7 boman r | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node011.cm.cluster | + | |
- | 71 0.60500 fullblade7 boman r | + | |
- | --------------------------------------------------------------------------------- | + | |
- | all.q@node012.cm.cluster | + | |
- | ############################################################################ | + | squeue donne des informations sur les jobs dans les queues : |
- | | + | pour mon job en particulier : |
- | ############################################################################ | + | < |
- | 79 0.00000 dev.batter boman qw 05/17/2011 16:45:02 12 | + | squeue |
+ | Wed Jun 28 16:08:43 2017 | ||
+ | JOBID PARTITION | ||
+ | 451 defq metafor papeleux | ||
+ | </ | ||
+ | ou pour tous les jobs : | ||
+ | < | ||
+ | squeue | ||
+ | Wed Jun 28 16:05:54 2017 | ||
+ | JOBID PARTITION | ||
+ | 418 defq metafor wautelet | ||
+ | 451 defq metafor papeleux | ||
+ | </ | ||
+ | |||
+ | Les outputs de sprio (actuellement pas de calcul de priorité des jobs => premier arrivé, premier servis) | ||
+ | < | ||
+ | sprio -l | ||
+ | You are not running a supported priority plugin | ||
+ | (priority/basic). | ||
+ | Only ' | ||
+ | sstat -a --format=JobID, | ||
+ | | ||
+ | ------------ -------- ---------- ---------- | ||
+ | sstat: WARNING: We will use a much slower algorithm with proctrack/ | ||
+ | 451.0 | ||
</ | </ | ||
- | Pour voir tous les jobs gérés par SGE pour tous les utilisateurs: | ||
- | qstat -u ' | ||
- | Pour voir les nom complet de vos jobs gérés par SGE: | ||
- | qstat -r | grep "Full jobname" | ||
- | Pour supprimer son job avant la fin, il suffit de repérer son numéro par "'' | ||
- | qdel [numero] | ||
- | Des mails sont envoyés par SGE pour signaler le démarrage, le kill ou la fin du job. | ||
- | Au lancement de jobs à travers "'' | + | pour plus d'info sur les commandes Slurm, lire [[devel: |
- | qDelxxxx.py : permet de killer un job (Attention, cette commande ne gère pas la copie et suppression des fichiers temporaires de calcul sur le disque du noeud de calcul) | + | Des mails sont envoyés par Slurm pour signaler le démarrage, le kill ou la fin du job. |
+ | |||
+ | Au lancement de jobs à travers "'' | ||
+ | |||
+ | sCancelxxxx.py : permet de killer un job (Attention, cette commande ne gère pas la copie et suppression des fichiers temporaires de calcul sur le disque du noeud de calcul) | ||
cpNodeResultsxxxx.py : copie les fichiers du disque du noeud de calcul (''/ | cpNodeResultsxxxx.py : copie les fichiers du disque du noeud de calcul (''/ | ||
rmNodeResultsxxxx.py : nettoye le disque du noeud de calcul des fichiers du process xxxx ('' | rmNodeResultsxxxx.py : nettoye le disque du noeud de calcul des fichiers du process xxxx ('' | ||
Line 231: | Line 222: | ||
Nb : le script '' | Nb : le script '' | ||
+ | |||
+ | Nb2 : Les noeuds de calcul n' | ||
Pour plus d' | Pour plus d' |
devel/cluster.1498653645.txt.gz · Last modified: 2017/06/28 14:40 by papeleux