Integración de OpenNebula y Waldur: Creando un nuevo paradigma de autoservicio para la infraestructura federada de IA

A medida que Europa continúa invirtiendo en nubes soberanas, computación de alto rendimiento (HPC) y fábricas de IA, la interoperabilidad y las capacidades de autoservicio de las plataformas de gestión de infraestructura se convierten en necesidades clave. Recientemente, OpenNebula Systems y OpenNode anunciaron la finalización de la integración técnica de OpenNebula con Waldur, ofreciendo una solución de gestión unificada para infraestructura de IA federada.

Contexto del evento

OpenNebula es una plataforma de gestión de infraestructura de IA ampliamente adoptada en Europa, centrada en la orquestación de cargas de trabajo de IA en entornos de nube privada y edge. Waldur, desarrollado por OpenNode y sus socios, es una plataforma de gestión de código abierto para nube y HPC, que ya es una de las tecnologías centrales de la plataforma conjunta EuroHPC, conectando múltiples instalaciones de supercomputación y nuevas fábricas de IA en Europa. Esta integración combina las capacidades de gestión de recursos de OpenNebula con el portal de autoservicio y las funciones federadas de Waldur, permitiendo a los usuarios configurar y gestionar de forma autónoma cargas de trabajo de entrenamiento e inferencia de IA en múltiples instancias de OpenNebula a través del Marketplace unificado de Waldur.

Análisis técnico

El núcleo de esta integración reside en dos capas: la capa inferior está gestionada por OpenNebula, encargándose de la virtualización, programación de GPU y gestión de almacenamiento en cada sitio; la capa superior, gestionada por Waldur, proporciona un catálogo de servicios unificado, gestión de usuarios, facturación (opcional) y orquestación entre sitios. Los usuarios pueden seleccionar imágenes de máquinas virtuales o plantillas de modelos de IA del catálogo como si usaran una nube pública, e implementarlos con un solo clic en el sitio federado designado, sin necesidad de conocer los detalles subyacentes de cada centro de datos. Esta arquitectura es esencialmente una plataforma de gestión en la nube diseñada para "fábricas de IA" y "Gigafábricas" (centros de computación de IA a gran escala), que admite la agrupación de recursos de múltiples sitios, la gestión automatizada del ciclo de vida y la autenticación federada.

• Características técnicas clave:
• Gestión unificada de múltiples sitios: Waldur puede conectar múltiples instancias de OpenNebula, logrando una visibilidad centralizada de los recursos entre centros de datos.
• Autoservicio: Los usuarios solicitan recursos a través de un portal web sin necesidad de intervención manual del administrador de TI.
• Soporte nativo para cargas de trabajo de IA: Permite implementar directamente imágenes preconfiguradas de frameworks de IA (como PyTorch, TensorFlow) y utilizar la función de partición de GPU.
• Soberanía digital: Todos los componentes son de código abierto, los datos y las cargas de trabajo permanecen dentro de Europa, evitando la dependencia de proveedores no europeos.

Análisis del impacto empresarial

• Para centros de HPC, fábricas de IA, operadores de telecomunicaciones y grandes y medianas empresas, esta solución ofrece beneficios directos:### Impacto en costos
• Reducción de gastos operativos: mediante una plataforma unificada para gestionar múltiples sitios, se reducen los costos de aprendizaje y mantenimiento de múltiples herramientas de gestión.
• Mejora de la utilización de recursos: la programación federada asigna automáticamente las tareas a sitios con recursos disponibles, evitando el desperdicio local de recursos.
• Evitar la dependencia del proveedor: basado en tecnología de código abierto, las empresas pueden ampliar o reemplazar componentes por sí mismas, lo que reduce el costo total de propiedad a largo plazo.

Impacto en operaciones y despliegue - Simplificación de operaciones multisitio: los equipos de TI monitorean todos los sitios desde un único panel, lo que hace más eficientes la conmutación por error y la migración de recursos. - Aceleración de la puesta en marcha de aplicaciones de IA: los investigadores e ingenieros pueden obtener rápidamente entornos de desarrollo a través de un portal de autoservicio, reduciendo los tiempos de espera. - Ventajas de cumplimiento: los datos permanecen dentro de la UE, cumpliendo con el RGPD y los requisitos regulatorios de nube soberana.

Desafíos potenciales - Se requiere capacidad de operación de plataformas de código abierto; las pymes pueden necesitar recurrir a proveedores de servicios especializados. - La integración con las cadenas de herramientas CI/CD o MLOps existentes requiere trabajo adicional.Esta integración refleja tres grandes tendencias en el ámbito de la infraestructura de IA: 1. De islas a federaciones: los recursos de cómputo de IA pasan de clústeres independientes a interconexiones entre regiones, convirtiendo las plataformas de gestión federada en una necesidad. 2. El autoservicio se convierte en estándar: tanto en nubes públicas como privadas, los usuarios esperan usar la capacidad de cómputo de IA interna como si utilizaran AWS. 3. La soberanía digital impulsa la innovación: Europa, mediante tecnologías de código abierto, interoperabilidad y federación, intenta construir un ecosistema completo en la era de la IA que no dependa de proveedores no europeos.

En el futuro, el concepto de AI Gigafactory impulsará una agregación de capacidad de cómputo a mayor escala, pero la complejidad de gestión aumentará exponencialmente. Arquitecturas de código abierto y componibles como OpenNebula+Waldur podrían convertirse en el estándar de facto para la infraestructura de IA soberana.