Restructuration de la stratégie de puissance de calcul de l'infrastructure IA : l'optimisation du calcul d'entreprise à l'ère de l'économie d'inférence

Alors que l'IA générative passe de la preuve de concept au déploiement à l'échelle de la production, les entreprises se heurtent à un fossé de puissance de calcul : l'infrastructure existante n'a pas été conçue pour les charges de travail d'IA. Le dernier rapport de Deloitte Insights, « Stratégie d'infrastructure de calcul pour l'IA », indique que bien que les coûts d'inférence aient diminué de 280 fois en deux ans, la croissance de l'utilisation dépasse de loin la baisse des coûts, certaines entreprises ayant des factures d'IA mensuelles atteignant des dizaines de millions de dollars. Plus important encore, des facteurs non liés aux coûts tels que la souveraineté des données, la latence de l'ordre de la milliseconde, la résilience opérationnelle et la protection de la propriété intellectuelle poussent les entreprises à reconsidérer leur stratégie « cloud d'abord ». Une architecture hybride à trois niveaux combinant l'élasticité du cloud, la cohérence locale et l'immédiateté de la périphérie devient le choix commun des entreprises leaders.

Contexte : de la preuve de concept à l'IA de production

Lorsque l'IA générative a explosé en 2022, les entreprises se sont rapidement lancées dans l'élaboration de produits et services de nouvelle génération. Aujourd'hui, l'IA a grandi, mais les entreprises constatent que le décalage entre la stratégie d'infrastructure et les besoins de l'IA devient de plus en plus évident, de la preuve de concept au déploiement en production. Le rapport de Deloitte Insights souligne que la normalisation des charges de travail d'IA implique une inférence quasi continue – c'est-à-dire l'utilisation réelle des modèles d'IA dans les processus métier. Lorsque les entreprises font appel à des services d'IA via des API cloud, les requêtes fréquentes font grimper les coûts, mais le problème va bien au-delà des coûts : la souveraineté des données, la latence, la protection de la propriété intellectuelle et la résilience opérationnelle deviennent des considérations clés.

Les auteurs du rapport soulignent que la solution ne consiste pas simplement à migrer les charges de travail du cloud vers l'infrastructure locale, ou l'inverse, mais à construire une architecture hybride capable d'associer à chaque charge de travail la plateforme de calcul appropriée. Cette conclusion est en parfaite adéquation avec les observations de CloudTechDaily sur les tendances informatiques actuelles des entreprises : l'IA passe du statut de « projet expérimental » à celui de « système métier central ».

Analyse technique : l'économie de l'inférence et le décalage des infrastructures

Qu'est-ce que l'économie de l'inférence ?

L'inférence (Inference) désigne le processus de calcul par lequel un modèle d'IA entraîné exécute des prédictions, des générations ou des décisions dans les processus métier réels. Par rapport à la phase d'entraînement, l'inférence est une charge de production continue et à grande échelle. Au cours des deux dernières années, le coût unitaire de l'inférence a diminué d'environ 280 fois, mais en raison de la croissance exponentielle du taux d'adoption, les dépenses globales des entreprises en IA ont au contraire grimpé en flèche. Le rapport indique que les outils LLM basés sur des API sont efficaces dans les preuves de concept, mais peuvent devenir trop coûteux dans les opérations au niveau de l'entreprise, certaines entreprises ayant des factures d'IA mensuelles atteignant déjà des dizaines de millions de dollars.

Le principal facteur de coût est l'« IA agentique » (Agentic AI) – des systèmes d'IA capables d'exécuter de manière autonome des tâches en plusieurs étapes. Ces systèmes nécessitent une inférence continue, avec des appels de modèles répétés, ce qui entraîne une escalade en spirale de la consommation de jetons (tokens). Pour les architectes d'entreprise, cela signifie qu'ils doivent réévaluer la fréquence d'inférence et le modèle de coûts de chaque charge de travail.### Pourquoi l'inférence détermine-t-elle davantage la stratégie d'infrastructure que l'entraînement ?

Les charges de travail d'entraînement, bien qu'intensives en calcul, sont généralement périodiques et non temps réel, et peuvent être exécutées de manière élastique dans le cloud. En revanche, l'inférence est toujours en ligne et consomme en continu ; elle détermine directement les coûts opérationnels et l'expérience utilisateur de l'entreprise. Ainsi, le cœur de l'économie de l'inférence réside dans le fait que chaque interaction utilisateur supplémentaire, chaque décision automatisée, implique de nouveaux coûts de calcul. Lorsque l'IA est intégrée aux processus métier essentiels, le coût de l'inférence passe d'une dépense IT variable à un coût opérationnel structurel : c'est la raison fondamentale pour laquelle les entreprises doivent réexaminer leur portefeuille d'infrastructures.

Les quatre inadéquations de l'infrastructure existante

Les centres de données d'entreprise traditionnels sont conçus sur la base de serveurs en rack refroidis par air, avec faux-planchers, systèmes de refroidissement standard, une orchestration centrée sur la virtualisation en cloud privé et une gestion traditionnelle des charges de travail. Or, l'infrastructure IA a des exigences techniques totalement différentes :

• Serveurs GPU à haute densité : la densité de puissance d'une baie GPU dépasse de loin celle des serveurs CPU traditionnels, nécessitant une alimentation électrique de plus grande capacité et un refroidissement spécialisé.
• Interconnexions avancées : les clusters GPU nécessitent des réseaux à faible latence et à haute bande passante tels qu'InfiniBand ou RoCE ; l'Ethernet traditionnel ne peut pas répondre aux besoins d'entraînement et d'inférence parallèles multi-cartes.
• Refroidissement liquide : la consommation électrique des puces IA est bien supérieure à celle des CPU traditionnels, le refroidissement par air approche de ses limites physiques et le refroidissement liquide devient une solution indispensable.
• Orchestration entièrement nouvelle : l'ordonnancement, la mise à l'échelle élastique et la surveillance des charges de travail IA nécessitent des plateformes de gestion d'infrastructure IA dédiées, et non une orchestration traditionnelle de machines virtuelles.

Ces spécifications techniques sont quasiment inexistantes dans l'environnement d'entreprise traditionnel. Le rapport indique clairement que cette inadéquation physique de l'infrastructure deviendra le principal goulet d'étranglement pour l'extension des applications d'IA dans les entreprises.

Analyse de l'impact pour les entreprises : coûts, souveraineté et refonte du déploiement

Impact sur les coûts : le point de bascule entre CAPEX et OPEX

Le rapport fournit une référence utile sur le plan opérationnel : lorsque le coût des services cloud dépasse 60 à 70 % du coût total d'acquisition d'un système local équivalent, pour des charges de travail stables, prévisibles et à volume élevé, le transfert de ces charges vers une infrastructure locale en capital (CAPEX) devient plus économique que de continuer à payer des dépenses opérationnelles (OPEX). Toutefois, ce ratio n'est pas absolu ; les entreprises doivent établir un modèle de coûts en tenant compte de leur taux d'utilisation, des coûts de l'électricité, des frais de maintenance et d'autres facteurs.

Souveraineté des données et conformité Les exigences réglementaires et les facteurs géopolitiques poussent les entreprises à localiser leurs services informatiques. Anders Mathiesen, PDG de la société danoise Thylander, a déclaré que les centres de données hyperscale du pays sont majoritairement détenus par des capitaux étrangers, et que les entreprises danoises souhaitent de plus en plus que ces centres soient possédés et exploités par des entreprises danoises afin de garantir la souveraineté des données. « Nous voulons faire quelque chose de typiquement danois pour les entreprises danoises, et également servir les entreprises extérieures qui considèrent que le marché danois a de la valeur. » Thylander construit actuellement des centres de données offrant des baies haute densité, ainsi que des capacités de réseau, d'alimentation électrique et de refroidissement. Ce cas illustre que l'IA souveraine devient un nouveau moteur d'investissement dans les infrastructures.

Latence et résilience

Les applications d'IA en temps réel (comme le contrôle qualité dans la fabrication, la conduite autonome et la surveillance des forages pétroliers et gaziers) exigent une réponse de bout en bout inférieure à 10 millisecondes, ce que la latence réseau du cloud ne peut pas satisfaire. Les applications critiques ne peuvent tolérer une interruption de la connexion cloud ; les infrastructures locales doivent donc jouer un rôle principal ou de secours. Cela signifie que l'architecture distribuée devient une nécessité absolue, et non une option.

Protection de la propriété intellectuelle

La plupart des données des entreprises restent encore sur site. Déployer les capacités d'IA là où se trouvent les données est davantage conforme aux exigences de protection de la propriété intellectuelle et de conformité que d'envoyer des données sensibles vers des services d'IA externes. Ce facteur encourage encore davantage le déploiement de clusters d'inférence locaux.

Analyse concurrentielle du marché : la recomposition de l'écosystème de la puissance de calcul

« Le cloud a du sens pour certaines choses ; c'est en quelque sorte le “bouton facile” de l'IA », déclare David Linthicum, leader d'opinion en IA. « Mais ce qui compte vraiment, c'est de choisir le bon outil pour le travail. Les entreprises construisent leurs systèmes sur des plateformes diverses et hétérogènes, en choisissant la solution la plus rentable — parfois le cloud, parfois l'infrastructure locale, parfois la périphérie. »

Cette tendance affectera profondément les acteurs du marché suivants :

• Fournisseurs de cloud hyperscale : ils continueront de dominer les besoins en entraînement élastique, en expérimentation et en pics de puissance de calcul, mais le modèle d'appels API à prix élevé pourrait subir des pressions de remplacement. Les fournisseurs de cloud devront proposer une tarification d'inférence plus flexible et des solutions hybrides, sinon les entreprises déplaceront l'inférence à haut volume vers l'infrastructure locale.
• Fabricants d'infrastructures traditionnels : Dell, HPE, Supermicro, etc. lanceront davantage de serveurs optimisés pour l'IA et de baies à refroidissement liquide pour répondre aux besoins des déploiements locaux.
• Opérateurs de centres de données : Equinix, Digital Realty, etc. augmenteront leurs investissements dans les baies haute densité, la capacité électrique et les installations de refroidissement liquide. Les opérateurs émergents de centres de données souverains (comme Thylander) devraient gagner un avantage concurrentiel sur les marchés locaux.
• Plateformes de calcul en périphérie (edge computing) : les scénarios d'applications temps réel tels que la fabrication, l'énergie et la conduite autonome apporteront un marché supplémentaire à l'IA en périphérie ; les plateformes d'inférence en périphérie de NVIDIA et AMD en bénéficieront.

Observations sur les tendances du secteur : l'architecture hybride à trois niveaux devient la normeLe rapport de Deloitte indique que les entreprises leaders mettent en œuvre une « architecture hybride à trois niveaux » :

1. Cloud pour l'élasticité : il traite les charges d'entraînement variables, les pics de capacité, les phases d'expérimentation, ainsi que les charges de travail dont la gravité des données se situe déjà dans le cloud. Les fournisseurs de cloud hyperscale sont en mesure de proposer les derniers services d'IA et la gestion des architectures de modèles, abaissant ainsi la barrière à l'innovation. 2. On-premise pour la cohérence : il héberge l'inférence de production à haut volume et en continu, avec des coûts prévisibles. Les entreprises obtiennent un contrôle sur la performance, la sécurité et les coûts, tout en développant des compétences internes de gestion de l'infrastructure d'IA. 3. Edge pour l'immédiateté : il permet des décisions à l'échelle de la milliseconde à proximité de la source des données, un facteur crucial notamment pour les systèmes de fabrication et de conduite autonome.

Ce modèle contraste fortement avec la pensée binaire « tout cloud ou tout on-premise » de la dernière décennie. Les auteurs du rapport soulignent que l'avantage concurrentiel futur appartiendra aux entreprises capables d'optimiser à la fois leurs dépenses d'investissement (CAPEX) et leurs dépenses d'exploitation (OPEX), et de piloter avec flexibilité de multiples types d'infrastructures.

Le cas de l'entreprise danoise Thylander montre que la construction d'une IA souveraine et de centres de données locaux s'accélère. Et sur le marché mondial au sens large, nous prévoyons une croissance parallèle de trois types d'investissements d'infrastructure : l'expansion continue du cloud hyperscale, l'émergence de clusters d'inférence IA sur site dans les entreprises, et la pénétration du edge computing dans les secteurs verticaux.

Voies d'action : comment les entreprises font face à la recomposition de la puissance de calcul

Face à la recomposition de l'infrastructure d'IA, les dirigeants d'entreprise devraient d'abord faire l'inventaire de leurs charges de travail existantes : lesquelles correspondent à des besoins d'inférence stables et à haut volume ? Lesquelles relèvent de besoins d'entraînement ponctuels ? Lesquelles concernent des scénarios de périphérie sensibles à la latence ? Ils devraient ensuite évaluer le coût total de possession (TCO) du cloud, de l'on-premise et de l'edge sur la base de modèles de coûts. Parallèlement, le développement de compétences internes en infrastructure d'IA — notamment l'exploitation de clusters GPU, la gestion de systèmes de refroidissement liquide et l'orchestration de charges de travail d'IA — déterminera la capacité des entreprises à piloter efficacement une architecture hybride.

CloudTechDaily Insight

L'essence de cet événement est un point de bascule pour l'IA, qui passe de « l'offre de puissance de calcul » à « l'économie de la puissance de calcul ». Le rapport de Deloitte envoie un signal clair : l'infrastructure d'IA n'est plus un simple choix technologique, mais une décision stratégique à laquelle participent conjointement le directeur financier et le directeur technique de l'entreprise. Une baisse de 280 fois des coûts d'inférence semble séduisante, mais la croissance explosive de l'utilisation de l'IA est en train d'engloutir les bénéfices de cette réduction des coûts, ce qui oblige les entreprises à mettre en place des modèles de coûts de calcul précis. Pour les fournisseurs de cloud, cela signifie que le modèle économique de « facturation par token » va être remis en cause — les clients entreprises chercheront des voies de calcul plus économiques et plus contrôlables entre le cloud, l'on-premise et l'edge. Au cours des cinq prochaines années, la concurrence en matière d'infrastructure d'IA s'articulera autour de trois axes majeurs : l'efficacité de l'inférence, le coût de l'électricité et la souveraineté des données. Les DSI d'entreprise devraient évaluer au plus tôt les caractéristiques de leurs charges de travail et faire évoluer leur approche du « cloud-first » vers le « calcul à la demande » afin de véritablement maîtriser l'économie de la puissance de calcul à l'ère de l'IA.