Comp.py - Launch.py - Divers

Procédure de lancement

• Ajout d'une option “RUNMETHOD” permettant de choisir entre Interactif/batch/sge
• Le lancement se fait dorénavant par la commande go (en fonction de l'option ci dessus)
• les 3 types de lancements sont dispo pour les 2 scripts

Options

• Unification des options/commandes/… entre les scripts comp & launch
• -j nbTasks : nombre de job lancés en parallèle (comp & launch & battery)
• -k nbThreads : nombre de threads (mkl & tbb) de chaque job (comp & launch & battery)
• le nombre de cpu réservés en sge = (nbTask * nbThreads)
• autocompletion dans comp.py
• généralisation de \$USER pour MAIL_ADDR (launch & comp)
• correction de l'envoie des mails selon types de machines (en adresse \$USER)
• En batch, le script kill\$PID.py kille le “at” et tous les jobs sous-jascents
  • nb1 : en shell la commande “ps -j -u \$USER” donne une colonne PGID : Id du Group de process
  • nb2 : “kill -9 -PGID” kille tous les jobs du group pgid (pourkiller une batterie d'1 seule commande !!!)

sge : Lancement sur les disques locaux des noeuds

• afin de ne pas plomber le réseau interne du cluster pas des fichiers ouverts en NFS, la posibilité d'utiliser les disques locaux des noeuds a été implémentée
• lorsque tout se passe bien, les résultats sont rapatriés automatiquement sur le master node en fin de calcul et nettoyé du disque local
• cpNodeResults\$SGEPID.py : script python permettant de récupérer les résultats du noeud de calcul vers le master node (en cours de calcul ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge
• rmNodeResults$SGEPID.py : script python permettant de nettoyer le disque du noeud de calcul (une fois résultats récupérés ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge

• battery.py -wdroot path : option de battery permettant d'écrire les résultats (workspace) dans une autre racine, un autre disque, … (sous windows aussi). Attention, c'est pas le WorkingDir, mais bien sa base (ce n'est pas non plus un rebasing de metafor)
• toolbox.utilities.setTheWDirRoot(wDirRoot) fonction de toolbox.utilities qui gère le dit changement

launch.py - launch2.py

• Ajout de 2 ALGORITHM : “multiMeta” & “multiExecfile” permettant d'utiliser le script launch pour lancer le calcul (meta ou execfile) sur tous les fichiers d'un répertoire (et sous répertoire)
• pas encore focntionnel (je dois encore régler le problème de .pythonrc.py
• suppression de launch2.py (même but initial mais pas très pratique et gros copié-collé)⇒ no need anymore

battery

• changement de l'option par défaut (en interne) keepFacs = True
• le script de local de battery.py (dans oo_metaB/bin/Release) est remis à False de manière à ce que rien ne change pour l'utilisateur lambda
• Ajout du nom de la machine dans l'onglet de titre de la page web
• …

FEInteraction.cpp initializeCheckList

• correction d'un bug d'allocation
• Ca n'empèche toujours pas forge_3 de planter à la désallocation (j'ai pas trouvé pourquoi)

ValuesManager - restart

• rechargement des extracteurs et redimensionnement de ceux-ci lors d'un restart (vectorOnFile & MatrixOnFile)

Optimisation

• Expérimental (to be continued)
• Ajout d'une fonction runMT(nbTasks) (run multi task) dans l'analyse paramétrique permettant de faire tourner nbtasks en même temps

Abrawal

• Ajout des groups corde intra & corde extra dans les maillages des aubes 18ER
• Ajout du matériau visco-élast dans le modèle bancOnera
• Nettoyage de l'appel aux post-pro dans le modèle bancOnera

linuxBin

• ai corrigé le mimetype, eol, leol, … des fichiers de linuxbin (merci chkrep.py)

 
A : 
R : linuxBin/launch2.py

A : 
R : 

— Luc Papeleux 2014/05/15