Intégration d'OpenNebula et Waldur : créer un nouveau paradigme de libre-service pour l'infrastructure d'IA fédérée

Alors que les investissements en Europe dans les clouds souverains, le calcul haute performance (HPC) et les usines d'IA continuent de croître, l'interopérabilité et les capacités en libre-service des plateformes de gestion d'infrastructure deviennent des exigences clés. Récemment, OpenNebula Systems et OpenNode ont annoncé l'achèvement de l'intégration technique d'OpenNebula avec Waldur, offrant une solution de gestion unifiée pour les infrastructures d'IA fédérées.

Contexte de l'événement

OpenNebula est une plateforme de gestion d'infrastructure d'IA largement adoptée en Europe, spécialisée dans l'orchestration des charges de travail d'IA dans les environnements de cloud privé et de périphérie. Waldur, développé par OpenNode et ses partenaires, est une plateforme de gestion open source pour le cloud et le HPC, qui sert déjà de technologie de base pour la plateforme conjointe EuroHPC, connectant plusieurs supercalculateurs européens et des usines d'IA émergentes. Cette intégration combine les capacités de gestion des ressources d'OpenNebula avec le portail en libre-service et les fonctionnalités fédérées de Waldur, permettant aux utilisateurs de configurer et de gérer en libre-service des charges de travail d'entraînement et d'inférence d'IA sur plusieurs instances OpenNebula via le Marketplace unifié de Waldur.

Analyse technique

Le cœur de cette intégration repose sur deux couches : la couche inférieure est gérée par OpenNebula pour la virtualisation, l'ordonnancement des GPU et la gestion du stockage sur chaque site ; la couche supérieure est assurée par Waldur, qui fournit un catalogue de services unifié, la gestion des utilisateurs, la facturation (optionnelle) et l'orchestration inter-sites. Les utilisateurs n'ont pas besoin de connaître les détails sous-jacents de chaque centre de données : ils peuvent, comme avec un cloud public, sélectionner des images de machines virtuelles ou des modèles d'IA à partir du catalogue et les déployer en un clic sur le site fédéré de leur choix. Cette architecture est essentiellement une plateforme de gestion de cloud conçue pour les « usines d'IA » et les « gigafactories » (centres de calcul d'IA à grande échelle), prenant en charge la mutualisation des ressources multi-sites, la gestion automatisée du cycle de vie et l'authentification fédérée.

• Caractéristiques techniques clés :
• Gestion unifiée multi-sites : Waldur peut connecter plusieurs instances OpenNebula, offrant une visibilité centralisée des ressources sur plusieurs centres de données.
• Libre-service : Les utilisateurs demandent des ressources via un portail web, sans intervention manuelle des administrateurs informatiques.
• Prise en charge native des charges de travail d'IA : Déploiement direct d'images préconfigurées de frameworks d'IA (comme PyTorch, TensorFlow) et utilisation des fonctionnalités de partitionnement des GPU.
• Souveraineté numérique : Tous les composants sont open source, les données et les charges de travail restent en Europe, évitant le verrouillage par des fournisseurs non européens.

Analyse de l'impact pour les entreprises

• Pour les centres HPC, les usines d'IA, les opérateurs de télécommunications et les grandes et moyennes entreprises, cette solution apporte des bénéfices directs :### Impact sur les coûts
• Réduction des dépenses opérationnelles : en gérant plusieurs sites via une plateforme unifiée, réduire les coûts d'apprentissage et de maintenance de multiples outils de gestion.
• Augmentation de l'utilisation des ressources : l'ordonnancement fédéré attribue automatiquement les tâches aux sites disposant de capacités excédentaires, évitant le gaspillage local de ressources.
• Évitement du verrouillage fournisseur : basé sur des technologies open source, les entreprises peuvent étendre ou remplacer les composants elles-mêmes, ce qui réduit le coût total de possession à long terme.

Impact sur l'exploitation et le déploiement - Simplification de l'exploitation multisite : l'équipe IT surveille tous les sites via un tableau de bord unique, ce qui rend le basculement et la migration des ressources plus efficaces. - Accélération de la mise en production des applications IA : les chercheurs et ingénieurs peuvent obtenir rapidement un environnement de développement via un portail en libre-service, réduisant les temps d'attente. - Avantage de conformité : les données restent dans l'UE, conformément au RGPD et aux exigences de souveraineté du cloud.

Défis potentiels - Nécessité de disposer de compétences en exploitation de plateformes open source ; les PME peuvent avoir besoin de faire appel à des prestataires spécialisés. - L'intégration avec les chaînes d'outils CI/CD ou MLOps existantes nécessite un travail supplémentaire.Cette intégration reflète trois grandes tendances dans le domaine de l’infrastructure IA : 1. Des silos vers la fédération : les ressources de calcul IA évoluent de clusters isolés vers une interconnexion interrégionale, rendant les plateformes de gestion fédérées indispensables. 2. Le libre-service devient la norme : que ce soit dans le cloud public ou privé, les utilisateurs attendent de pouvoir utiliser la puissance de calcul IA interne comme ils le feraient avec AWS. 3. La souveraineté numérique stimule l’innovation : l’Europe, à travers l’open source, l’interopérabilité et les technologies fédérées, tente de construire un écosystème complet pour l’ère de l’IA, indépendant des fournisseurs non européens.

À l’avenir, le concept de Gigafactory IA va favoriser une agrégation encore plus massive de puissance de calcul, mais la complexité de gestion augmentera de façon exponentielle. Des architectures open source et composables comme OpenNebula + Waldur pourraient devenir le standard de facto pour les infrastructures IA souveraines.