Metafor

Comp.py - Launch.py - Divers

Procédure de lancement

• Ajout d'une option “RUNMETHOD” permettant de choisir entre Interactif/batch/sge
• Le lancement se fait dorénavant par la commande go (en fonction de l'option ci dessus)
• les 3 types de lancements sont dispo pour les 2 scripts

Options

• Unification des options/commandes/… entre les scripts comp & launch
• -j nbTasks : nombre de job lancés en (comp & launch & battery) * -k nbThreads : nombre de threads (mkl & tbb) de chaque job (comp & launch & battery) * le nombre de cpu réservés en sge = (nbTask * nbThreads) * autocompletion dans comp.py * généralisation de $USER pour MAIL_ADDR (launch & comp) * correction de l'envoie des mails selon types de machines (en adresse $USER) * En batch, le script kill\$PID.py kille le “at” et tous les jobs sous-jascents * nb1 : en shell la commande “ps -j -u \$USER” donne une colonne PGID : Id du Group de process * nb2 : “kill -9 -PGID” kille tous les jobs du group pgid (pourkiller une batterie d'1 seule commande !!!) sge : Lancement sur les disques locaux des noeuds * afin de ne pas plomber le réseau interne du cluster pas des fichiers ouverts en NFS, la posibilité d'utiliser les disques locaux des noeuds a été implémentée * lorsque tout se passe bien, les résultats sont rapatriés automatiquement sur le master node en fin de calcul et nettoyé du disque local * cpNodeResults\$SGEPID.py : script python permettant de récupérer les résultats du noeud de calcul vers le master node (en cours de calcul ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge * rmNodeResults$SGEPID.py : script python permettant de nettoyer le disque du noeud de calcul (une fois résultats récupérés ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge * <note important>SVP : Nettoyez les disques locaux après chaque job planté (j'ai pas envie de passer mon temps à faire du nettoyage pour vous !!!)</note> * battery.py -wdroot path : option de battery permettant d'écrire les résultats (workspace) dans une autre racine, un autre disque, … (sous windows aussi). Attention, c'est pas le WorkingDir, mais bien sa base (ce n'est pas non plus un rebasing de metafor) * toolbox.utilities.setTheWDirRoot(wDirRoot) fonction de toolbox.utilities qui gère le dit changement launch.py - launch2.py * Ajout de 2 ALGORITHM : “multiMeta” & “multiExecfile” permettant d'utiliser le script launch pour lancer le calcul (meta ou execfile) sur tous les fichiers d'un répertoire (et sous répertoire) * pas encore focntionnel (je dois encore régler le problème de .pythonrc.py * suppression de launch2.py (même but initial mais pas très pratique et gros copié-collé)⇒ no need anymore battery * changement de l'option par défaut (en interne) keepFacs = True * le script de local de battery.py (dans oo_metaB/bin/Release) est remis à False de manière à ce que rien ne change pour l'utilisateur lambda * Ajout du nom de la machine dans l'onglet de titre de la page web * … ==== Divers ==== FEInteraction.cpp initializeCheckList * correction d'un bug d'allocation * Ca n'empèche toujours pas forge_3 de planter à la désallocation (j'ai pas trouvé pourquoi) ValuesManager - restart * rechargement des extracteurs et redimensionnement de ceux-ci lors d'un restart (vectorOnFile & MatrixOnFile) Optimisation * Expérimental (to be continued) * Ajout d'une fonction runMT(nbTasks) (run multi task) dans l'analyse paramétrique permettant de faire tourner nbtasks en même temps Abrawal ** * Ajout des groups corde intra & corde extra dans les maillages des aubes 18ER * Ajout du matériau visco-élast dans le modèle bancOnera * Nettoyage de l'appel aux post-pro dans le modèle bancOnera ===== Fichiers ajoutés/supprimés ===== <code> A : R : linuxBin/launch2.py </code> ===== Tests ajoutés/supprimés ===== <code> A : R : </code> — Luc Papeleux 2014/05/15