===== Commit 2014-05-15 ===== Comp.py - Launch.py - Divers METTEZ A JOUR oo_meta, oo_nda ET votre ~/bin SUR TOUTES LES STATIONS (CLUSTER COMPRIS)!!! SUPPRIMEZ VOS comp.cfg & launch.cfg !!! ===== Unification Comp.py - Launch.py - batterie ===== ** Procédure de lancement ** * Ajout d'une option "RUNMETHOD" permettant de choisir entre Interactif/batch/sge * Le lancement se fait dorénavant par la commande go (en fonction de l'option ci dessus) * les 3 types de lancements sont dispo pour les 2 scripts ** Options ** * Unification des options/commandes/... entre les scripts comp & launch * -j nbTasks : nombre de job lancés en parallèle (comp & launch & battery) * -k nbThreads : nombre de threads (mkl & tbb) de chaque job (comp & launch & battery) * le nombre de cpu réservés en sge = (nbTask * nbThreads) * autocompletion dans comp.py * généralisation de \$USER pour MAIL_ADDR (launch & comp) * correction de l'envoie des mails selon types de machines (en adresse \$USER) * En batch, le script kill\$PID.py kille le "at" et tous les jobs sous-jascents * nb1 : en shell la commande "ps -j -u \$USER" donne une colonne PGID : Id du Group de process * nb2 : "kill -9 -PGID" kille tous les jobs du group pgid (pourkiller une batterie d'1 seule commande !!!) ** sge : Lancement sur les disques locaux des noeuds ** * afin de ne pas plomber le réseau interne du cluster pas des fichiers ouverts en NFS, la posibilité d'utiliser les disques locaux des noeuds a été implémentée * lorsque tout se passe bien, les résultats sont rapatriés automatiquement sur le master node en fin de calcul et nettoyé du disque local * cpNodeResults\$SGEPID.py : script python permettant de récupérer les résultats du noeud de calcul vers le master node (en cours de calcul ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge * rmNodeResults$SGEPID.py : script python permettant de nettoyer le disque du noeud de calcul (une fois résultats récupérés ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge SVP : Nettoyez les disques locaux après chaque job planté (j'ai pas envie de passer mon temps à faire du nettoyage pour vous !!!) * battery.py -wdroot path : option de battery permettant d'écrire les résultats (workspace) dans une autre racine, un autre disque, ... (sous windows aussi). Attention, c'est pas le WorkingDir, mais bien sa base (ce n'est pas non plus un rebasing de metafor) * toolbox.utilities.setTheWDirRoot(wDirRoot) fonction de toolbox.utilities qui gère le dit changement ** launch.py - launch2.py ** * Ajout de 2 ALGORITHM : "multiMeta" & "multiExecfile" permettant d'utiliser le script launch pour lancer le calcul (meta ou execfile) sur tous les fichiers d'un répertoire (et sous répertoire) * pas encore focntionnel (je dois encore régler le problème de .pythonrc.py * suppression de launch2.py (même but initial mais pas très pratique et gros copié-collé)=> no need anymore ** battery ** * changement de l'option par défaut (en interne) keepFacs = True * le script de local de battery.py (dans oo_metaB/bin/Release) est remis à False de manière à ce que rien ne change pour l'utilisateur lambda * Ajout du nom de la machine dans l'onglet de titre de la page web * ... ==== Divers ==== ** FEInteraction.cpp initializeCheckList** * correction d'un bug d'allocation * Ca n'empèche toujours pas forge_3 de planter à la désallocation (j'ai pas trouvé pourquoi) ** ValuesManager - restart ** * rechargement des extracteurs et redimensionnement de ceux-ci lors d'un restart (vectorOnFile & MatrixOnFile) ** Optimisation ** * Expérimental (to be continued) * Ajout d'une fonction runMT(nbTasks) (run multi task) dans l'analyse paramétrique permettant de faire tourner nbtasks en même temps ** Abrawal ** * Ajout des groups corde intra & corde extra dans les maillages des aubes 18ER * Ajout du matériau visco-élast dans le modèle bancOnera * Nettoyage de l'appel aux post-pro dans le modèle bancOnera ** linuxBin ** * ai corrigé le mimetype, eol, leol, ... des fichiers de linuxbin (merci chkrep.py) Vérifiez que votre subversion est bien configuré : http://metafor.ltas.ulg.ac.be/dokuwiki/doc/devel/svnconfig ===== Fichiers ajoutés/supprimés ===== A : R : linuxBin/launch2.py ===== Tests ajoutés/supprimés ===== A : R : --- //[[L.Papeleux@ulg.ac.be|Luc Papeleux]] 2014/05/15 //