NVIDIA, CUDA, 2007 : la révolution silencieuse qui a bâti l'IA
En 2007, Jensen Huang a présenté CUDA, une plateforme qui a transformé les GPU de NVIDIA en moteurs puissants pour l'IA. Cette innovation, initialement peu remarquée, a jeté les bases du marché actuel des puces d'intelligence artificielle.
Le 27 janvier 2007, au San Jose Convention Center, Jensen Huang, PDG de NVIDIA, a présenté CUDA. Cette nouvelle plateforme permettait aux développeurs de programmer les unités de traitement graphique (GPU) de NVIDIA pour des applications allant bien au-delà de la simple gestion graphique. Le public n’a guère prêté attention à cette annonce technique. Cependant, elle a ouvert la voie à l’intelligence artificielle.
Avant CUDA, les unités centrales de traitement (CPU) dominaient l’informatique. Les CPU excellent dans les tâches séquentielles, traitant les instructions une par une. L’IA, en particulier les réseaux neuronaux, exigeait une approche différente. Ces algorithmes devaient effectuer des millions de calculs simples simultanément. Les GPU, conçus pour les graphiques 3D complexes, sont devenus très efficaces dans ce domaine. Ils traitaient simultanément un grand nombre de pixels.
NVIDIA, fondée en 1993, a passé des années à perfectionner le traitement parallèle. Leurs GPU sont devenus plus sophistiqués. CUDA a rendu cette capacité de traitement accessible à l’informatique générale. Les chercheurs pouvaient désormais utiliser les milliers de cœurs du GPU. Ce changement s’est avéré crucial pour les calculs mathématiques complexes nécessaires aux modèles d’IA.
L’architecte invisible : comment les puces d’IA ont vu le jour
En 2006, NVIDIA a lancé son architecture GPU G80. Cette puce contenait 681 millions de transistors. Elle offrait un traitement parallèle supérieur à celui des CPU traditionnels. Jensen Huang pensait que les GPU n’étaient pas seulement destinés aux jeux vidéo. Il estimait qu’ils pouvaient accélérer la découverte scientifique.
Le framework CUDA a été lancé avec le G80. Il a fourni des outils de programmation aux scientifiques et aux ingénieurs. Ils pouvaient désormais écrire du code exploitant la capacité de traitement parallèle considérable du GPU. Parmi les premiers utilisateurs figuraient des chercheurs en imagerie sismique et en biologie computationnelle. Ils ont constaté des gains de vitesse significatifs pour leurs problèmes à forte intensité de données. Ce succès précoce a montré que le GPU pouvait faire plus que ce que ses concepteurs avaient initialement imaginé.
Les institutions universitaires, souvent soumises à des budgets serrés, ont commencé à expérimenter. Elles ont découvert qu’un seul GPU pouvait surpasser des clusters de CPU pour certaines tâches. Cette efficacité économique a séduit les laboratoires de recherche. Les GPU compatibles CUDA ont progressivement rendu le calcul haute performance accessible à un plus grand nombre de personnes.
L’utilisation des GPU dans la science a créé un petit groupe d’utilisateurs. Ces utilisateurs ont exploré les limites des GPU. Leurs travaux ont involontairement préparé le terrain pour l’essor du développement de l’IA. L’engagement de NVIDIA envers CUDA a favorisé l’émergence d’un écosystème croissant d’outils et d’experts.
Le GPU NVIDIA G80, lancé en 2006, était une puce clé contenant 681 millions de transistors. Ses capacités avancées de traitement parallèle, rendues possibles par la plateforme CUDA, ont jeté les bases de l'intelligence artificielle moderne en permettant les calculs complexes nécessaires aux réseaux neuronaux. (Source : commons.wikimedia.org)
L’étincelle du deep learning : l’essor des puces d’IA
Le 30 septembre 2012, une équipe de l’Université de Toronto s’est fait remarquer. Les chercheurs Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton ont participé au ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Leur réseau neuronal convolutif profond, AlexNet, a atteint un taux d’erreur de 15,3 %. Cela a considérablement surpassé le vainqueur de l’année précédente, qui avait obtenu 26,2 %.
AlexNet a été entraîné sur deux GPU NVIDIA GTX 580. Les chercheurs ont utilisé ces cartes grand public pour traiter des millions d’images. Cette réalisation a démontré le potentiel considérable du deep learning lorsqu’il est combiné à l’accélération GPU. Ce fut un moment clé pour l’IA. La communauté de recherche l’a immédiatement constaté.
Soudain, le deep learning, un sous-domaine de l’IA, a suscité un intérêt généralisé. Google, Facebook et Microsoft ont commencé à investir massivement. Ils ont créé leurs propres divisions de recherche en IA. Ils visaient à reproduire et à améliorer le succès d’AlexNet. La demande de GPU puissants a fortement augmenté parmi ces géants de la technologie.
Jensen Huang a décrit ce changement lors d’un événement universitaire en 2014. Il a déclaré que « l’essor du deep learning a commencé avec les GPU ». NVIDIA a rapidement modifié sa stratégie, se concentrant sur le marché des centres de données. L’entreprise a compris l’impact considérable de cette nouvelle approche informatique. La performance des réseaux neuronaux profonds dépendait désormais de puces spécialisées.
ChatGPT : la demande explose
Le 30 novembre 2022, OpenAI a lancé ChatGPT. Ce chatbot d’IA générative conversait comme un humain, surpassant les systèmes précédents. Il a rapidement gagné des millions d’utilisateurs, impressionnant de nombreux utilisateurs par ses capacités de génération de texte. Cet événement a rapidement modifié le paysage de l’IA.
ChatGPT fonctionnait sur de vastes réseaux neuronaux. Ces grands modèles linguistiques (LLM) nécessitaient d’énormes quantités de puissance de calcul pour leur entraînement et leur fonctionnement. Les modèles d’OpenAI utilisaient des dizaines de milliers de GPU NVIDIA. Cette ampleur a mis en évidence à quel point les puces d’IA étaient essentielles.
L’intérêt immédiat du public pour ChatGPT a conduit à des investissements significatifs. Chaque grande entreprise technologique a rapidement intégré l’IA générative à ses produits. Microsoft a investi des milliards dans OpenAI. Google a accéléré son propre développement de LLM. Amazon, Meta et d’autres ont annoncé de grands projets d’IA. Cela a créé une demande continue pour des puces d’IA haute performance.
Le cours de l’action de NVIDIA a fortement augmenté. Ses prévisions de revenus trimestriels ont considérablement progressé grâce aux commandes de GPU pour centres de données. Le PDG Jensen Huang a annoncé des bénéfices records, déclarant en mai 2023 qu’« une nouvelle ère de l’informatique avait commencé ». Le marché a considéré NVIDIA comme le principal moteur de cette croissance rapide de l’IA. L’industrie a immédiatement été confrontée à des pénuries d’approvisionnement pour ces processeurs spécialisés.
Le NVIDIA GTX 580, un GPU grand public sorti en 2010, a joué un rôle central dans la révolution du deep learning. Les chercheurs ont utilisé deux de ces cartes pour entraîner AlexNet, réalisant une percée lors du défi ImageNet 2012 et démontrant la puissance de l'accélération GPU pour l'IA. (Source : techradar.com)
La course des titans : l’innovation s’accélère
La demande en IA a rapidement augmenté, entraînant une forte concurrence entre les fabricants de puces. NVIDIA conserve une position solide, avec une part de marché estimée à 80 à 90 % dans les accélérateurs d’IA fin 2023. Leur GPU H100, dont le prix se situe entre 30 000 et 40 000 dollars, est devenu la norme de l’industrie. Il offrait des performances très élevées pour l’entraînement de modèles d’IA complexes.
D’autres acteurs ont rapidement rejoint la compétition. AMD a lancé sa série d’accélérateurs d’IA MI300X en décembre 2023. Lisa Su, PDG d’AMD, a déclaré que le MI300X offrait des performances compétitives. Il visait à capter une grande part du marché en croissance. Intel a également promu sa gamme de processeurs d’IA Gaudi. Ils ont mis en avant leur coût plus faible pour certaines charges de travail d’IA.
Les fournisseurs de cloud hyperscale ont commencé à concevoir leurs propres circuits intégrés spécifiques à l’application (ASIC) personnalisés. Google a construit ses Tensor Processing Units (TPU) pour ses charges de travail d’IA. Amazon a créé les puces Inferentia et Trainium pour les clients AWS. Microsoft a dévoilé son accélérateur d’IA Maia 100 en novembre 2023. Ces entreprises visaient à réduire leur dépendance vis-à-vis des fournisseurs externes et à adapter les puces à leurs besoins spécifiques.
La concurrence s’est étendue au-delà des puces elles-mêmes. Les fabricants de mémoire comme Samsung et SK Hynix ont constaté une forte demande pour la mémoire à haute bande passante (HBM). Cette mémoire spécialisée est essentielle pour alimenter rapidement les accélérateurs d’IA en données. Taiwan Semiconductor Manufacturing Company (TSMC), le plus grand fabricant de puces sous contrat au monde, est devenue cruciale. Elle a fabriqué la plupart de ces puces d’IA avancées.
Projections du marché : des milliards en jeu
Le marché des puces d’IA connaît une croissance rapide. Le cabinet d’études IDC a indiqué en décembre 2023 que les serveurs d’IA, y compris les accélérateurs, ont atteint 28,1 milliards de dollars en 2023. Cela représente une augmentation de 36,3 % par rapport à l’année précédente. Les prévisions tablent sur une croissance rapide continue.
Un autre rapport, publié par Mordor Intelligence en janvier 2024, prévoit une croissance significative. Le marché des puces d’IA devrait passer de 25,46 milliards de dollars en 2023 à 201,28 milliards de dollars d’ici 2029. Cela représente un taux de croissance annuel composé (TCAC) de 41,25 %. Cette augmentation rapide reflète l’utilisation généralisée de l’IA dans toutes les industries. Les centres de données restent le segment le plus important. L’Edge AI, les véhicules autonomes et les soins de santé augmentent également la demande.
Taiwan Semiconductor Manufacturing Company (TSMC) est le plus grand fabricant de puces sous contrat au monde, crucial pour la production de la plupart des puces d'IA avancées comme le H100 de NVIDIA et le MI300X d'AMD. Ses usines de fabrication de pointe à Taïwan constituent l'épine dorsale de l'industrie mondiale du matériel d'IA. (Source : restofworld.org)
Gartner, une société de recherche de premier plan, a prévu en avril 2024 que les revenus mondiaux des puces d’IA atteindraient 71,2 milliards de dollars en 2024. Cela représente une augmentation de 33 % par rapport à 2023. Ils s’attendent à ce que les revenus augmentent encore pour atteindre 92 milliards de dollars en 2025. Cette croissance est due à une demande accrue d’accélérateurs d’IA dans les serveurs. Elle inclut également de nouvelles conceptions pour l’IA embarquée dans les appareils.
Le volume considérable de données que les modèles d’IA génèrent et traitent justifie cette croissance. L’entraînement de grands modèles linguistiques peut coûter des centaines de millions de dollars en puissance de calcul. Cet investissement témoigne de la valeur des capacités de l’IA. Le marché des puces d’IA ne fait pas que s’étendre. Il est en train de modifier l’industrie des semi-conducteurs en son cœur.
La voie à suivre : l’avenir de l’IA en silicium
Le développement des puces d’IA se concentre sur une plus grande spécialisation et efficacité. Les entreprises explorent de nouvelles conceptions au-delà des GPU traditionnels. Les puces neuromorphiques, inspirées du cerveau humain, visent une consommation d’énergie ultra-faible. L’informatique quantique, bien qu’encore émergente, offre le potentiel de modifier considérablement certaines tâches d’IA. Ces innovations ouvriront de nouvelles possibilités pour les applications d’IA.
Les facteurs géopolitiques continueront également d’influencer le marché. Les États-Unis ont imposé des contrôles à l’exportation sur les puces d’IA avancées vers la Chine. Ces politiques visent à limiter le développement de l’IA en Chine. Cela a incité la Chine à accélérer sa propre fabrication de puces. La chaîne d’approvisionnement mondiale des puces d’IA reste un domaine clé de rivalité stratégique.
L’impact environnemental de l’informatique d’IA attire également l’attention. L’entraînement et l’exécution de grands modèles d’IA consomment d’énormes quantités d’énergie. Les futures conceptions de puces se concentreront autant sur l’efficacité énergétique que sur les performances. Les innovations en matière de refroidissement et de centres de données durables seront essentielles.
Le marché des puces d’IA restera un centre d’innovation. Il déterminera le rythme et la direction de l’IA. La concurrence pour un silicium plus puissant, plus efficace et plus spécialisé ne montre aucun signe de ralentissement. Cet effort continu transformera les industries et notre façon d’interagir avec les ordinateurs pour les décennies à venir.
FAQ
Q : Qu’est-ce qu’une puce d’IA ? R : Une puce d’IA, ou accélérateur d’IA, est un processeur spécialisé. Il est conçu pour gérer les calculs parallèles à grande échelle nécessaires aux algorithmes d’IA. Contrairement aux CPU à usage général, ces puces sont optimisées pour des tâches comme l’entraînement et l’inférence des réseaux neuronaux. Elles comportent souvent des milliers de cœurs fonctionnant simultanément.
Les puces neuromorphiques, comme le Loihi d'Intel ou le TrueNorth d'IBM, sont conçues pour imiter les réseaux neuronaux du cerveau humain, offrant une consommation d'énergie ultra-faible pour les tâches d'IA en traitant l'information de manière hautement parallèle et événementielle. (Source : gigenet.com)
Q : Pourquoi les GPU sont-ils si dominants sur le marché des puces d’IA ? R : Les GPU (Graphics Processing Units) ont été conçus à l’origine pour le traitement parallèle dans le rendu graphique. Cette conception était bien adaptée aux calculs mathématiques et au travail parallèle nécessaires au deep learning. L’investissement précoce de NVIDIA dans CUDA a également créé un environnement logiciel robuste, renforçant leur position sur le marché.
Q : Quel est le principal moteur de la croissance du marché des puces d’IA ? R : Le principal moteur est l’augmentation rapide de la demande pour les modèles d’IA générative, tels que les grands modèles linguistiques (LLM). Ceux-ci nécessitent de très grandes quantités de puissance de calcul pour l’entraînement et le déploiement. La diffusion de l’IA dans de nombreux secteurs — véhicules autonomes, soins de santé et automatisation industrielle — contribue également à cette croissance.
Q : Que sont les ASIC d’IA personnalisés ? R : Les ASIC d’IA personnalisés (Application-Specific Integrated Circuits) sont des puces conçues par des entreprises comme Google (TPU) et Amazon (Inferentia) pour leurs charges de travail d’IA internes spécifiques. Ils sont construits pour des algorithmes et des tâches particuliers. Cela offre une grande efficacité et des performances élevées pour ces applications, réduisant souvent la dépendance vis-à-vis des fournisseurs de puces externes.
Les Tensor Processing Units (TPU) de Google sont des ASIC conçus sur mesure et optimisés pour les charges de travail de machine learning, en particulier les réseaux neuronaux. Dévoilés pour la première fois en 2016, ils alimentent de nombreux services d'IA de Google et sont connus pour leur grande efficacité en matière d'entraînement et d'inférence. (Source : tomshardware.com)
Vous pourriez aussi aimer:
👉 Le secteur public américain : l’utilisation de l’IA bondit de 30% en 2022
👉 L’IA et les jeunes : les risques mondiaux des applications et réseaux
👉 L’IA et le NLP éclairent le marché du travail en temps réel
