Partage et gestion de ressources

1.    Introduction

Le groupe se focalise sur le partage des ressources, leur contrôle et leur gestion.  Comme les ressources traitées sont physiques et virtuelles et allouées à la demande, les problèmes d’allocation, de placement et d’optimisation sont au centre des investigations. La projection des ressources virtuelles sur les ressources physiques et la mobilité généralisée où les services et les ressources virtuelles peuvent changer de place ou de plateforme d’hébergement restent les deux défis cibles du groupe.

Les réseaux mobiles, fixes et informatiques reçoivent le même intérêt et poids ainsi que leur rapprochement ou convergence.   La virtualisation est aussi acceptée comme un standard de fait pour les réseaux du futur. Même si un long chemin reste encore à parcourir, la virtualisation et la mobilité deviendront des caractéristiques usuelles. Il convient dès à présent  d’en maitriser la gestion. Les caractéristiques dynamiques des infrastructures, des plateformes d’hébergement, du logiciel et du système sont aussi pris en compte dans les investigations.

Face à ces évolutions, le groupe a naturellement cherché à prendre en compte et rapprocher les principes fondamentaux des réseaux mobiles, des réseaux fixes et des réseaux informatiques. Plus particulièrement les concepts et avancées dans le domaine de l’informatique en nuages  sont apparus comme essentiels, à saisir et à combiner avec les réseaux plus traditionnels ou plus classiques. Le groupe s’est donné comme  objectif de combler le vide entre ces différents réseaux en introduisant des passerelles entre ces systèmes ; notamment leur mise en réseau ou interconnections, leurs interfaçages et leur conception conjointe. 

L’optimisation multicritères gouverne cette conception conjointe puisqu’il s’agit d’améliorer les performances, d’assurer la qualité de service (malgré les variations dynamiques du système induites entre autres par la mobilité et les variations des environnements comme les plateformes d’hébergement et les supports de communications) et de minimiser par exemple : la signalisation, les pertes et les coûts y compris la consommation d’énergie. L’ensemble de ces objectifs sont intégrés dans nos modèles mathématiques. Nous introduisons des contraintes et des conditions valides pour résoudre dans des temps adaptés aux réseaux opérationnels les problèmes rencontrés et ce aussi bien via des solutions exactes que des approches heuristiques. Nous nous efforçons de concevoir ces dernières pour réduire les temps de convergence de plusieurs ordres de grandeur pour proposer des solutions exploitables.

Toujours dans le même esprit d’ouverture et d’évolution, nous portons un intérêt particulier à la virtualisation, au cloud networking et aux réseaux de type SDN (Software Defined Networks  et Software Defined Networking). Au-delà de la conception de routeurs et commutateurs programmables s’appuyant sur des technologies OpenFlow, OVS (Open vSwitch) et de système d’interconnexion interne aux centres de calcul (intra data center) ou entre centres de calcul (inter data center and inter cloud), nous proposons des systèmes d’échanges de messages pour soutenir le plan de contrôle pour assurer la découverte de topologie et la configuration dynamique des entités de réseaux.  Ce plan de contrôle bénéficie de nos travaux sur l’extension des interfaces ouvertes du « cloud computing »  comme OCCI (Open cloud Computing Interface). Nous avons étendu le modèle d’OCCI, confiné aux ressources de calcul et de stockage dans les centres de calcul, à la connectivité entre ressources informatiques (calcul et stockage) et ressources réseaux (spécifiquement les réseaux de transports avec un accent sur la connectivité aux niveaux L4, L3 et L2).

En parallèle, nous avons conçu une passerelle programmable en mesure d’interconnecter des ressources réparties dans un même centre de calcul ou sur plusieurs centres de calcul géographiquement répartis. Cette passerelle peut relier des machines virtuelles ou des ressources réseaux quelconques et hétérogènes. Elle se focalise sur le contrôle de ports, de cartes réseaux, de tags, de labels et de tables de routage ou d’acheminement. Elle traite donc de VLAN et de réseaux d’interconnexion pour réseaux étendus. Elle s’applique à des clouds et des ressources hybrides et assure les liens entre domaines privés et publics. Elle  connecte aussi bien des ressources et services d’entreprise que des services cloud public comme ceux offerts par  Amazon ou Microsoft Azure.  Cette passerelle peut interagir et s’appuyer sur des technologies SDN et des gestionnaires d’infrastructure cloud comme OpenStack et OpenNebula pour gérer les adresses et les identités des ressources à interconnecter et celles des entités de réseau impliquées sur le chemin de bout en bout entre les applications distantes ou réparties. Les activités du groupe sont majoritairement financées sur ressources propres via des projets comme CompatibleOne (DGCIS), SAIL (Projet IP du FP7), EASI-CLOUDS (ITEA2), ODISEA (FUI 12), XLCloud (GE), FIT (GE) et  Marguerite (Région IDF).

 

2.    Thèmes récents

Les activités récentes du groupe, si on omet les travaux passés sur les réseaux mobiles, ad hoc, de capteurs et personnels en termes de routage et de gestion de ressources radio, se résument à : 

  • Modèles exacts et heuristiques d’établissement dynamique de réseaux virtuels pour interconnectés des ressources multi-tenants dédiées (« dynamic slice establishment ») pour les communications intra et inter cloud. Ces modèles et approches s’appliquent aussi bien au cloud qu’au réseau et en particulier, dans notre cas, aux deux;
  • Placement et « provisioning » à la demande de machines virtuelles, de puissance de calcul et d’espaces de stockage dans des infrastructures combinant des ressources physiques et virtuelles. Algorithmes de placement et consolidation optimaux pour minimiser la consommation énergétique des centres de calcul. Placement optimal de données (objets, sujets, fichiers, contenus, mesures, etc.) dans des espaces de stockage privés, publics, communautaires et dans le stockage dans le réseau lui-même. Les travaux s’appuient sur une modélisation de type multi-flow pour prendre en compte non seulement le placement optimal des données, leurs réplications et duplications mais aussi les accès à ces données qui requièrent le dimensionnement adéquat des ressources de transport et de traitement ;
  • Définition de nouvelles interfaces et de modèles pour décrire les ressources et leurs liens (relations) de manière plus exhaustive en rajoutant les liens entre ressources réseaux et entre « ressources réseaux » et « ressources informatiques ». Le modèle OCCI actuel ne décrit et donc ne relie  que les ressources de calcul et de stockage. Notre objectif est de traiter les ressources de calcul, stockage et de communications conjointement et complètement pour établir des clouds privés à la demande qui comprennent un réseau d’interconnexion dédié ;
  • Enfin, nous portons un intérêt particulier à la fédération d’infrastructures impliquant fournisseurs de clouds et de réseaux. Une de nos principales contributions est un modèle de « pricing » pour maximiser les revenus des fournisseurs et satisfaire les demandes utilisateurs.  Les résultats obtenus permettent non seulement de fixer les prix de manière dynamique pour partager les ressources mais aussi de prendre les meilleures décisions pour traiter les demandes où les déléguer aux autres membres moyennant finance. Le modèle donne la taille optimale de la fédération. L’étude  confirme la pertinence de la mutualisation de ressources pour réduire les coûts d’acquisition et d’exploitation des fournisseurs. Un programme linéaire accompagné d’une méthode pour fixer les offres de prix en dynamique permet de maximiser les revenues et d’assurer un revenue minimum (ou seuil) aux membres de la fédération dans le pire cas.

 

3.    Echantillon de publications récentes

[1]     Makhlouf Hadji, Djamal Zeghlache: Minimum Cost Maximum Flow Algorithm for Dynamic Resource Allocation in Clouds. IEEE CLOUD 2012: 876-882, 2012

[2]     Panagiotis Papadimitriou, Ines Houidi, Wajdi Louati, Djamal Zeghlache, Christoph Werle, Roland Bless, Laurent Mathy: Towards Large-Scale Network Virtualization. WWIC 2012: 13-25, 2012 (best paper award)

[3]     Mohamed-Haykel Zayani, Vincent Gauthier, Ines Slama, Djamal Zeghlache: Tracking Topology Dynamicity for Link Prediction in Intermittently Connected Wireless Networks. CoRR abs/1205.3328, 2012

[4]     Ines Houidi, Wajdi Louati, Walid Ben-Ameur, Djamal Zeghlache: Virtual network provisioning across multiple substrate networks. Computer Networks 55(4): 1011-1023, 2011

[5]     Ines Houidi, Marouen Mechtri, Wajdi Louati, Djamal Zeghlache: Cloud Service Delivery across Multiple Cloud Platforms. IEEE SCC 2011: 741-742

[6]     Houssem Medhioub, Ines Houidi, Wajdi Louati, Djamal Zeghlache: Design, Implementation and Evaluation of Virtual Resource Description and Clustering Framework. AINA 2011: 83-89

[7]     Makhlouf Hadji, Wajdi Louati, Djamal Zeghlache: Constrained Pricing for Cloud Resource Allocation. NCA 2011: 359-365

[8]     Christoph Werle, Panagiotis Papadimitriou, Ines Houidi, Wajdi Louati, Djamal Zeghlache, Roland Bless, Laurent Mathy: Building virtual networks across multiple domains. SIGCOMM 2011: 412-413

 

4.    Plateforme expérimentale servant aux recherches du groupe et à d’autres chercheurs

 

Plateforme clouds et réseaux

(cliquer sur l'image pour l'agrandir)

Plateforme "clouds et réseaux"

 

5.    Logiciels libres produits par le groupe

[1]   Dans le cadre du projet CompatibleOne (DGCIS – FUI 10), qui développe un cloud broker permettant la fourniture de services de clouds hétérogènes, un  service de placement nommé  COPS (CompatibleOne Placement Service), cherche et sélectionne les fournisseurs et optimise le placement des ressources virtuelles dans les infrastructures retenues. Le code source de COPS se trouve à : http://gitorious.ow2.org/ow2-compatibleone/dev-cops.

[2]   Toujours dans le contexte de CompatibleOne, un serveur OCCI écrit en Python, appelé COPyS (CompatibleOne OCCI Python Server) a été développé et utilisé par le service de placement, COPS. Il est aussi disponible en logiciel libre : http://gitorious.ow2.org/ow2-compatibleone/dev-copys . COPS et COPyS  s’utilisent conjointement avec la plateforme ACCORDS qui joue le rôle de noyau du cloud broker de CompatibleOne.

[3]   Un troisième service aussi intégré à ACCORDS mais qui depuis a évolué vers une passerelle indépendante pour le cloud networking est aussi en logiciel libre : . Ce service gère la connectivité entre fournisseurs de ressources et services clouds (entre centre de calcul, entre VMs, entre composant de service ou entre entités physiques) sous forme d’une passerelle réseau (ou network gateway) est aussi intégré à ACCORDS : http://gitorious.ow2.org/ow2-compatibleone/dev-conets.

[4]   Au sein du projet Européen SAIL (Projet IP, FP7), et en coopération avec CompatibleOne, nous avons développé deux logiciels clés. Une extension d’OCCI (PyOCNI) qui ajoute la dimension réseau au modèle OCCI et un middleware communicant (CMBS pour Cloud Message Brokering Service) qui facilite l’échange d’information entre domaines pour faciliter le cloud networking. Ces deux codes open source font l’objet de développement collaboratif depuis leur mise en ligne. Le groupe poursuit ses efforts d’amélioration et d’évolution du code et met régulièrement à jour ces codes. Ils sont disponibles aux URL suivantes : https://github.com/jordan-developer/pyOCNI et https://github.com/jordan-developer/pyCMBS

[5]  Enfin, le groupe à déployé OpenStack Essex et ensuite OpenStack Folsom dans sa plateforme expérimentale. Le déploiement d’OpenStack est documenté sur 2 guides d’installations : Le premier parle de la version Essex et couvre la totalité des composants d’OpenStack et le deuxième s’occupe de la description de la version Folsom y compris les nouveaux projets Quantum et Cinder. Les deux guides d’installation sont : OpenStack Essex Install guide et OpenStack Folsom Install guide. L’URL du  guide d’installation de Folsom est :  https://github.com/mseknibilel/OpenStack-Folsom-Install-guide.

 

6. Membres du groupe

Group leader: Prof. Djamal Zeghlache.

Members: Hadji Makhlouf, Houssem Medhioub are research fellows;

Doctoral students: Marouen Mechtri, Chaima Ghribi, Salma Rebai, Ines Fakhfakh, Houda Jmila; Research Assistants and Post Docs: Kaouther Drira, Francis Andreas Abrante, Sivasothy Shanmunaligam, Myriem Zekri