Regards croisés sur le calcul à Lyon

Motivation

Nous vous proposons de participer à une journée intitulée “Regards croisés sur le calcul à Lyon” qui sera organisée au Laboratoire de l’Informatique du Parallélisme le lundi 16 juin 2014.

Cette journée de séminaires et de discussions sera l’occasion d’échanger autour des activités liées au calcul (HPC, Grilles, etc.) dans Lyon et sa région.

La journée aura lieu à l’ENS de Lyon, dans la salle ’UNESCO’, située Place de l’École, 69007 Lyon (voir aussi cette carte).

Des présentations auront lieu tout au long de la journée, et seront données par des chercheurs, ingénieurs et utilisateurs qui présenteront un résultat de recherche, une plateforme de calcul, un outil, un retour d’expérience, etc.

Inscription

Pour des raisons d’organisation, merci de vous inscrire en envoyant un mail à : simon.delamare@ens-lyon.fr

Programme

Cette journée va précéder l’école des utilisateurs de Grid’5000, qui aura lieu à l’ENS Lyon toute la semaine. Il sera possible d’y apprendre l’utilisation de cette plateforme et d’assister aux présentations des chercheurs invités. Plus d’information sur cette page : www.grid5000.fr/w/Grid5000:School2014

Résumés

Voici le résumé des différentes présentations :

Anne Cadiou (LMFA) : Simulation numérique massivement parallèle, calcul haute performance et big data

Les simulations massivement parallèles génèrent un volume croissant de données, dont l’exploitation sollicite de toujours plus grandes ressources en terme de stockage, d’efficacité réseau et de capacité de calcul, dédié au post-traitement. Un besoin émerge pour de nouvelles stratégies d’analyse et de visualisation des résultats issus de ces simulations.

L’expérience de notre équipe dans le cadre d’un projet PRACE et les solutions originales mises en oeuvre au mésocentre de l’université de Lyon, pour l’analyse des écoulements transitionnels et turbulents en développement spatial et temporel, seront exposées.

Sorina Pop (CREATIS) : VIP et GateLab : retour d’expérience

Le portail VIP/Gate-Lab (https://vip.creatis.insa-lyon.fr) compte plus de 550 utilisateurs enregistrés et donne accès à une dizaine d’applications qui s’exécutent de manière transparente sur les ressources de calcul distribué de l’organisation virtuelle (VO) biomed dans EGI (European Grid Infrastructure). A travers ce portail web, les utilisateurs ont la possibilité de s’authentifier, lancer l’exécution d’une application, la suivre ou bien accéder à l’historique et aux résultats des exécutions précédentes. Le transfert de données vers et depuis les éléments de stockage est géré aussi par la plate-forme. De nouvelles fonctionnalités, telles que des catalogues de modèles et des ontologies, ont été ajoutées pour faciliter l’intégration et l’échange de modèles et de nouvelles applications.

Démarré en 2010 dans le cadre de l’ANR VIP, le portail est devenu aujourd’hui un outil quotidien pour ses utilisateurs qui y font tourner des simulateurs et des algorithmes de traitement d’images médicales. A titre d’exemple, en 2013, plus de 2200 exécutions réussies ont été lancées par 90 utilisateurs différents. Le temps CPU moyen consommé en 2013 a été de 627 années CPU. D’après les statistiques publiées par la grille de calcul européenne EGI, le portail VIP est l’un des plus utilisés pour accéder à cette infrastructure. Pour proposer ses services de bout en bout, la plateforme VIP/Gate-Lab s’appuie sur des ressources comme le moteur de workflows MOTEUR et le système de jobs-pilotes Dirac. Elle utilise d’ailleurs l’instance nationale du service Dirac mise en production pour plusieurs communautés scientifiques. Déployée au CC-IN2P3, cette instance nationale est administrée à tour de rôle par des experts localisés dans plusieurs laboratoires. Cette organisation permet de répartir la charge de travail sur plusieurs sites et d’obtenir un meilleur résultat en termes de support aux utilisateurs.

Le succès de VIP est dû, d’un côté, au travail effectué au niveau de l’interface homme-machine et à sa facilité d’utilisation et, de l’autre, aux optimisations mises en place pour garantir de bonnes performances. Plus particulièrement, des stratégies d’équilibrage de charge et d’auto-administration ont été développées pour améliorer la qualité de service fournie par la plate-forme.

Frederic Suter (IN2P3/LIP) : Le CC-IN2P3, un outil de pointe au service de la recherche

Le Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules (CC-IN2P3) est une Unité de Service et de Recherche du CNRS. Classé parmi les grandes infrastructures françaises de recherche, il a pour vocation de fournir des moyens de calcul et de stockage de données, en particulier aux chercheurs impliqués dans les expériences de physique corpusculaire et d’astroparticule mais aussi dans une moindre mesure aux laboratoires universitaires. Dans cet exposé, nous reviendrons sur l’infrastructure technologique mise en place au service des expériences, dont celles du LHC, l’accélérateur de particules qui a permis la découverte du boson de Higgs.

Emmanuel Quemmener (CBP) : SIDUS : un “couteau suisse” pour l’expérimentation numérique (en reproductibilité) ?

Le Centre Blaise Pascal est LA “maison de la modélisation” lyonnaise. Trait d’union entre la recherche et la technologie, le CBP explore entre autres, au travers des projets des numériciens, les nouvelles tendances en matière de calcul scientifique : la mise à disposition de plateaux techniques (multi-noeuds, multi-coeurs, GPU, architectures exotiques, visualisation 3D) et ces explorations exigent le développement d’outils permettant de simplifier les tâches de son seul administrateur système. SIDUS (pour Single Instance Distributing Universal System) est un de ces outils !

Fonctionnelle depuis presque 4 années au CBP, cette approche SIDUS sert de socle en imposant instantanément une unicité de l’OS sur tout un parc de machines à étudier, de manière indépendante ou collaborative : elle a ainsi largement contribué au choix de GlusterFS comme choix de système de fichiers distribué temporaires, à comprendre la variabilité qui affectait nombre de simulations sur des matériels récents ou anciens.

EQ détaillera dans son exposé les ressources du Centre Blaise Pascal, leur accès aux équipes de recherches, SIDUS qu’il a développé et contribué à intégrer au PSMN (et à l’IGFL) ainsi que les sources de variabilités dans les équipements informatiques qu’il a découvertes grâce à SIDUS ces dernières années au travers de plusieurs projets sur le stockage ou les architectures hybrides.

Olivier Richard (LIG) : Le gestionnaire de tâches et ressources OAR et son écosystème

OAR est un gestionnaire de tâches et de ressources, aussi appelé (batch scheduler), qui est utilisé en production depuis plus de 10 ans pour l’exploitation de clusters et d’infrastructures moins classique comme les plate-formes dédiées à l’expérimentation. Ses qualités de polyvalence et de capacité de personnalisation le distinguent des logiciels concurrents.

Au cours des installations et des développements successifs un écosystème s’est développé qui a donné naissance à une variété d’outils répondant à des besoins particuliers. On peut citer entre autres la gestion de tâches pour les grilles légères (/CiGri/), le monitoring de tâches (/Colmet/), la génération d’appliance (/Kameleon/), l’exploitation pour le calcul d’intranet (/ComputeMode/).

Finalement, les développements en cours suivent les évolutions technologiques des plate-formes matérielles visées (complexité architecturale et passage à l’échelle) ainsi que les évolutions d’usages (sélection de ressources avancées, interactions automatiques, virtualisation).

Jean-Yves L’Excellent (LIP) : Le solveur MUMPS, plateforme de recherche et outil pour les applications de calcul scientifique

MUMPS (MUltifrontal Massively Parallel Solver) est un outil pour la résolution parallèle de systèmes linéaires creux par des méthodes directes. Depuis le début de cette activité en 1996, le logiciel MUMPS nous sert à la fois d’environnement d’expérimentation pour nos recherches et de valorisation de nos travaux auprès des utilisateurs, notamment des industriels. Nous présentons quelques aspects du projet et de ses perspectives logicielles.

Jean-Patrick Gelas (LIP) : Propositions pour améliorer l’efficacité énergétique des Data Centers et des Clouds

Mots clés : Cloud, efficacité énergétique, Green IT

Les technologies de l’information sont aujourd’hui responsables de près de 2% des émissions de CO2 (soit l’équivalent de celles du transport aérien). 23% de ces émissions sont provoquées par les centres de calcul de plus en plus grands et nombreux (en 2007 ils consommaient 623 milliards de kWh). La consommation des centres de calcul comme ceux de Amazon, Google, Facebook ou Microsoft peuvent consommer chacun l’équivalent de 180.000 foyers. Depuis quelques années, avec l’engouement pour le GreenIT, les centres investissent dans différentes solutions pour réduire leur consommation et donc leur facture électrique (sans oublier d’améliorer leur image de marque auprès du grand public).

Dans la pratique beaucoup de serveurs sont sous utilisés. Pour tirer meilleure partie de leur plein potentiel une solution très classique aujourd’hui est l’usage de la virtualisation qui permet à plusieurs applications de fonctionner sur un même serveur physique de manière isolée. Cette technique est à l’origine des infrastructures de type Cloud. Aujourd’hui, si le Cloud était un pays, il aurait la 5ème position des pays qui consomment le plus d’électricité (La France 9ème (447milliards kWh) consomme moins !). Cette présentation débutera donc par une introduction sur l’impact énergétique des technologies de l’information sur notre planète en appuyant notre discours sur des résultats obtenus non seulement dans la littérature scientifique mais également à partir des travaux de recherche et de mesures expérimentales de consommation énergétique que nous menons au laboratoire LIP au sein de l’équipe INRIA Avalon depuis quelques années. Puis nous proposerons de présenter et de discuter un ensemble de solutions, pour améliorer l’efficacité énergétique des centres de calcul et des Clouds et donc de minimiser leur impact écologique sur la planète.

Sources et liens : Koomey : Data Center Energy Use is Moderating How clean is your cloud ? (Greenpeace) Kwapi in action : http://greencloud.ens-lyon.fr/kwapi