Metafor

ULiege - Aerospace & Mechanical Engineering

User Tools

Site Tools


commit:2014:05_15

Commit 2014-05-15

Comp.py - Launch.py - Divers

METTEZ A JOUR oo_meta, oo_nda ET votre ~/bin SUR TOUTES LES STATIONS (CLUSTER COMPRIS)!!!
SUPPRIMEZ VOS comp.cfg & launch.cfg !!!

Unification Comp.py - Launch.py - batterie

Procédure de lancement

  • Ajout d'une option “RUNMETHOD” permettant de choisir entre Interactif/batch/sge
  • Le lancement se fait dorénavant par la commande go (en fonction de l'option ci dessus)
  • les 3 types de lancements sont dispo pour les 2 scripts

Options

  • Unification des options/commandes/… entre les scripts comp & launch
  • -j nbTasks : nombre de job lancés en parallèle (comp & launch & battery)
  • -k nbThreads : nombre de threads (mkl & tbb) de chaque job (comp & launch & battery)
  • le nombre de cpu réservés en sge = (nbTask * nbThreads)
  • autocompletion dans comp.py
  • généralisation de \$USER pour MAIL_ADDR (launch & comp)
  • correction de l'envoie des mails selon types de machines (en adresse \$USER)
  • En batch, le script kill\$PID.py kille le “at” et tous les jobs sous-jascents
    • nb1 : en shell la commande “ps -j -u \$USER” donne une colonne PGID : Id du Group de process
    • nb2 : “kill -9 -PGID” kille tous les jobs du group pgid (pourkiller une batterie d'1 seule commande !!!)

sge : Lancement sur les disques locaux des noeuds

  • afin de ne pas plomber le réseau interne du cluster pas des fichiers ouverts en NFS, la posibilité d'utiliser les disques locaux des noeuds a été implémentée
  • lorsque tout se passe bien, les résultats sont rapatriés automatiquement sur le master node en fin de calcul et nettoyé du disque local
  • cpNodeResults\$SGEPID.py : script python permettant de récupérer les résultats du noeud de calcul vers le master node (en cours de calcul ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge
  • rmNodeResults$SGEPID.py : script python permettant de nettoyer le disque du noeud de calcul (une fois résultats récupérés ou en cas de plantage) : \$SGEPID est le numéro du job dans la queue sge
SVP : Nettoyez les disques locaux après chaque job planté (j'ai pas envie de passer mon temps à faire du nettoyage pour vous !!!)
  • battery.py -wdroot path : option de battery permettant d'écrire les résultats (workspace) dans une autre racine, un autre disque, … (sous windows aussi). Attention, c'est pas le WorkingDir, mais bien sa base (ce n'est pas non plus un rebasing de metafor)
  • toolbox.utilities.setTheWDirRoot(wDirRoot) fonction de toolbox.utilities qui gère le dit changement

launch.py - launch2.py

  • Ajout de 2 ALGORITHM : “multiMeta” & “multiExecfile” permettant d'utiliser le script launch pour lancer le calcul (meta ou execfile) sur tous les fichiers d'un répertoire (et sous répertoire)
  • pas encore focntionnel (je dois encore régler le problème de .pythonrc.py
  • suppression de launch2.py (même but initial mais pas très pratique et gros copié-collé)⇒ no need anymore

battery

  • changement de l'option par défaut (en interne) keepFacs = True
  • le script de local de battery.py (dans oo_metaB/bin/Release) est remis à False de manière à ce que rien ne change pour l'utilisateur lambda
  • Ajout du nom de la machine dans l'onglet de titre de la page web

Divers

FEInteraction.cpp initializeCheckList

  • correction d'un bug d'allocation
  • Ca n'empèche toujours pas forge_3 de planter à la désallocation (j'ai pas trouvé pourquoi)

ValuesManager - restart

  • rechargement des extracteurs et redimensionnement de ceux-ci lors d'un restart (vectorOnFile & MatrixOnFile)

Optimisation

  • Expérimental (to be continued)
  • Ajout d'une fonction runMT(nbTasks) (run multi task) dans l'analyse paramétrique permettant de faire tourner nbtasks en même temps

Abrawal

  • Ajout des groups corde intra & corde extra dans les maillages des aubes 18ER
  • Ajout du matériau visco-élast dans le modèle bancOnera
  • Nettoyage de l'appel aux post-pro dans le modèle bancOnera

linuxBin

  • ai corrigé le mimetype, eol, leol, … des fichiers de linuxbin (merci chkrep.py)
Vérifiez que votre subversion est bien configuré : http://metafor.ltas.ulg.ac.be/dokuwiki/doc/devel/svnconfig

Fichiers ajoutés/supprimés

 
A : 
R : linuxBin/launch2.py

Tests ajoutés/supprimés

A : 
R : 

Luc Papeleux 2014/05/15

commit/2014/05_15.txt · Last modified: 2016/03/30 15:23 (external edit)