Ce qui me frappe dans cette affaire de Jensen Huang est le contraste entre la grande histoire à laquelle il a contribué de manière déterminante et la petite histoire, presque anecdotique, qui l'a fait tomber. Tout le monde connaît NVIDIA et son rôle clé dans l'écosystème de l'IA comme fournisseur de GPU pour les principaux développeurs de modèles de langage (OpenAI, Anthropic, etc.). Mais NVIDIA a également joué un rôle majeur dans la renaissance de l'intelligence artificielle sous sa forme actuelle. Son histoire est en réalité intimement liée à l'IA moderne.
Des jeux vidéo au calcul parallèle : les premiers GPU NVIDIA
NVIDIA a été fondée en 1993. Sa proposition de valeur était d'améliorer les rendus graphiques en 3D des PC. Le public visé alors était essentiellement celui des gamers. Pour afficher un monde 3D qui réagit en temps réel aux mouvements du joueur, il faut recalculer à chaque instant la scène, ce qui demande une puissance de calcul considérable. L'idée de NVIDIA était de confier les calculs graphiques à une puce spécialisée pour soulager le processeur central. Cette puce était conçue pour exécuter simultanément un grand nombre d'opérations similaires, comme calculer la couleur de plusieurs pixels de l'image en même temps. C'est le principe du calcul parallèle.
Cette idée a été portée plus loin, en 1999, avec le développement d'une puce puissante, baptisée GeForce 256. NVIDIA la présentait comme le premier GPU : elle intégrait notamment les transformations géométriques et l'éclairage, jusque-là généralement pris en charge par le processeur central des PC. Ce GPU était encore destiné aux jeux vidéo. Mais au début des années 2000, des scientifiques ont commencé à détourner l'usage des cartes graphiques pour faire des calculs impliquant des matrices de grande taille. L'astuce était d'utiliser l'opération de combinaison des textures pour multiplier des valeurs et l'accumulation des contributions dans la mémoire d'image pour faire des additions ; on pouvait ainsi effectuer des calculs de type multiplication ligne-colonne entre deux matrices.
De Brook à CUDA : le pari du calcul scientifique
Un doctorant de Stanford, Ian Buck, a eu l'idée de développer un langage, baptisé Brook, qui permettait de programmer ces cartes graphiques pour faire du calcul scientifique. C'était une étape très importante dans le développement de ce que l'on a appelé plus tard le GPGPU (General-Purpose computing on Graphics Processing Units) - autrement dit, l'utilisation des cartes graphiques à d'autres fins que celles pour lesquelles elles avaient été conçues initialement. Jensen Huang a remarqué cette initiative et a invité personnellement Ian Buck à rejoindre NVIDIA, en 2004, pour poursuivre cette piste. Deux ans plus tard, NVIDIA a présenté CUDA : une plateforme de programmation qui permet d'exécuter en parallèle des fonctions de calcul, appelées "kernels", sur des GPU. Le pari de Jensen Huang était que les utilisateurs, notamment les scientifiques, inventeraient de nouveaux usages si on leur mettait ces outils entre les mains.
La sortie de CUDA a suscité du scepticisme chez les investisseurs. Cette plateforme représentait un investissement important, dont les débouchés commerciaux restaient incertains. Mais dès 2009, Geoffrey Hinton, un chercheur en intelligence artificielle considéré comme l'un des pères du deep learning, et ses collaborateurs Abdel-rahman Mohamed et George Dahl ont utilisé CUDA pour entraîner un réseau de neurones pour la reconnaissance vocale. Les résultats étaient encourageants et ont été présentés lors d'une conférence prestigieuse en IA. Les réseaux de neurones étaient néanmoins encore vus par une grande partie de la communauté comme une approche obsolète, qui ne pouvait pas constituer l'avenir de l'IA.
ImageNet : les données qui ont changé la vision par ordinateur
Parallèlement, une chercheuse, Fei-Fei Li, travaillait avec son équipe sur la constitution d'un jeu de données baptisé ImageNet. Ce jeu de données a atteint près de 15 millions d'images labellisées réparties dans environ 22 000 catégories ; elle avait pour ambition de couvrir à peu près toutes les entités qui peuplent le quotidien, des chats jusqu'aux machines à café. La tâche était immense et devait prendre plusieurs années ; Fei-Fei Li a eu recours à Amazon Mechanical Turk pour gagner du temps. En 2009, une première version d'ImageNet a été présentée, avec 3,2 millions d'images réparties dans plus de 5 000 catégories.
À partir de 2010, Fei-Fei Li et ses collègues ont organisé une compétition annuelle autour d'ImageNet : les chercheurs pouvaient entraîner des modèles sur un sous-ensemble de ces données, comprenant environ 1,2 million d'images d'entraînement et 1 000 catégories, pour apprendre à prédire la catégorie associée à une image ; un classement était ensuite établi selon les performances obtenues. Les deux premières éditions de la compétition, en 2010 et 2011, ont donné lieu à des progrès modérés. Les modèles qui ont remporté la compétition étaient basés sur les SVM (Support Vector Machines), une approche dominante à l'époque, réputée et appréciée pour sa sophistication mathématique.
AlexNet en 2012 : le tournant du deep learning
En 2012, le même Geoffrey Hinton et deux de ses collaborateurs, Alex Krizhevsky et Ilya Sutskever, ont décidé de participer à la compétition ImageNet avec un modèle de deep learning, entraîné sur deux GPU NVIDIA GTX 580 qu'ils avaient achetés sur Amazon. Le modèle appartenait à une famille déjà ancienne, celle des réseaux de neurones convolutifs, dont les premières implémentations remontaient aux années 1980. Mais comme ils avaient de la puissance de calcul, ils ont construit un modèle sensiblement plus important en taille (60 millions de paramètres), baptisé AlexNet. Ils ont également introduit quelques améliorations dans l'architecture et l'entraînement du modèle. Les performances se sont révélées très impressionnantes : il a remporté la compétition avec près de 11 points d'écart par rapport au deuxième modèle dans le classement. AlexNet semblait bien profiter de la quantité de données et de la puissance de calcul.
Cet événement a marqué l'histoire de l'intelligence artificielle en imposant le deep learning comme paradigme dominant. Avant 2012, les approches qui dominaient en reconnaissance d'images étaient caractérisées par une certaine finesse mathématique et par un travail important de conception manuelle des caractéristiques visuelles ; de nombreux chercheurs étaient convaincus que c'était la direction à suivre pour développer des modèles de plus en plus performants. Après la démonstration d'AlexNet, on s'est rendu compte que les performances pouvaient progresser beaucoup mieux en combinant des architectures adaptées avec davantage de puissance de calcul et de données. À partir de là, on a construit des modèles de plus en plus imposants en taille et des architectures capables de tirer parti de cette puissance de calcul, jusqu'à atteindre aujourd'hui, pour certains modèles, plusieurs milliers de milliards de paramètres. Le GPU est devenu un standard pour le développement de tels modèles, dont l'entraînement et l'utilisation exigent une puissance de calcul gigantesque. Les progrès de l'intelligence artificielle moderne sont ainsi intimement liés à NVIDIA.



