Un récent travail de conseil mené par McKinsey passe au crible treize pistes technologiques susceptibles d'abaisser le coût d'utilisation quotidien des modèles d'intelligence artificielle déjà entraînés. Quatre axes en ressortent comme les plus structurants : optimisation logicielle, packaging avancé, puces sur mesure (ASIC) et optique co‑packagée. Ces leviers agissent à différents niveaux de la chaîne — du bit à l'algorithme — et leurs effets combinés pourraient modifier sensiblement l'économie de l'inférence.
Un potentiel de réduction très élevé, à condition d'accepter des compromis
Selon l'étude, le levier le plus immédiat est logiciel. Des techniques comme la quantification (baisser la précision numérique) et l'élagage (pruning) visent à réduire les besoins en mémoire et à augmenter le nombre de requêtes traitées simultanément. McKinsey avance des ordres de grandeur importants : la combinaison de ces optimisations pourrait réduire le coût par token de 85% à 95%, sous réserve que les applications acceptent les éventuelles pertes de qualité.
Rapprocher la mémoire du calcul pour limiter les déplacements de données
Le packaging avancé joue sur l'architecture matérielle : en rapprochant la mémoire des unités de calcul, par exemple via des approches de « bonding hybride » ou de packaging 3D, on diminue les déplacements de données — un poste majeur de consommation et de coût en inférence. McKinsey estime que le packaging 3D avancé pourrait abaisser le coût par token de 80% à 90%.
- Logiciel : quantification, pruning — gains immédiats mais dépendants de la tolérance applicative.
- Packaging : réduire les mouvements de données avec du packaging 3D et du bonding hybride.
- Puces sur mesure (ASIC) : efficacité accrue pour des charges spécifiques, gains substantiels sur workloads adaptés.
- Optique co‑packagée : intégrer des moteurs optiques dans les packages pour limiter la consommation liée au transport massif de données.
Puces dédiées et optique : promesses et conditions d'adoption
Les ASIC représentent le troisième axe. À la différence des GPU généralistes, ces puces sont conçues pour exécuter plus efficacement des charges d'IA ciblées. McKinsey évalue le potentiel de réduction des coûts entre 70% et 80% pour des workloads qui s'y prêtent, mais souligne que l'adoption dépendra aussi de la maturité des écosystèmes logiciels autour de ces architectures.
Optique co‑packagée : réduire la facture du transport de données
L'optique co‑packagée vise à intégrer des composants optiques directement au sein du package d'un switch ou d'un accélérateur, remplaçant les modules optiques enfichables traditionnels. L'objectif est de réduire la consommation et la complexité associées au transport massif de données entre puces, serveurs et racks — un point crucial pour les grands centres de données qui traitent des volumes croissants d'inférence.
| Levier | Réduction de coût estimée (par token) |
|---|---|
| Optimisation logicielle (quantification, pruning) | 85%–95% |
| Packaging 3D avancé | 80%–90% |
| Puces sur mesure (ASIC) | 70%–80% |
| Optique co‑packagée | Réduction de consommation et complexité liée au transport de données (estimation non chiffrée dans le rapport) |
Ces scénarios montrent qu'une combinaison de leviers matériels et logiciels pourrait largement modifier l'économie de l'inférence. Reste que les gains effectifs dépendront de facteurs concrets : la nature des modèles, la sensibilité des usages à la précision, la disponibilité des chaînes d'outils logicielles adaptées, et les coûts d'investissement initiaux pour du packaging avancé ou des ASIC.
Pour les décideurs publics et industriels en France et en Europe, l'analyse pose des questions pratiques : faut‑il prioriser l'investissement dans des puces nationales, soutenir la recherche sur le packaging 3D et l'optique intégrée, ou accélérer l'adoption d'outils d'optimisation logicielle ? Autant d'arbitrages qui détermineront combien l'IA coûtera réellement à l'usage — et combien elle pèsera sur la facture énergétique des centres de données.
