Le 12 juin 2017, une équipe de huit chercheurs de Google Brain et Google Research dépose sur le serveur de prépublication arXiv un article de recherche au titre audacieux et presque provocateur :
« Attention Is All You Need »
(« L'attention est tout ce dont vous avez besoin »)
À première vue, la publication d'Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser et Illia Polosukhin visait une tâche d'ingénierie ciblée : améliorer les performances des systèmes de traduction automatique de l'anglais vers l'allemand et le français.
Nul n'imaginait alors que les huit pages de cet article allaient bouleverser l'histoire de l'informatique, redéfinir la linguistique computationnelle et donner naissance à la révolution des grands modèles de langage (LLM) et de l'IA générative contemporaine (de ChatGPT à Gemini, en passant par Claude et Llama).
1. L'impasse séquentielle du langage : L'ère des RNN et LSTM#
Au milieu des années 2010, alors que les réseaux convolutifs (CNN) triomphaient dans l'analyse d'images, le traitement automatique du langage naturel (NLP - Natural Language Processing) restait prisonnier d'un goulot d'étranglement conceptuel.
Le langage humain est par nature séquentiel : une phrase est une suite de mots ordonnés dans le temps. Pour traiter ce type de données, les chercheurs utilisaient des réseaux de neurones récurrents (Recurrent Neural Networks ou RNN), perfectionnés sous la forme de LSTM (Long Short-Term Memory, Hochreiter & Schmidhuber, 1997) ou de GRU (Gated Recurrent Units).
Mot x₁ ──► [ Cellule LSTM ] ──► État caché h₁
│
Mot x₂ ──► [ Cellule LSTM ] ──► État caché h₂
│
Mot x₃ ──► [ Cellule LSTM ] ──► État caché h₃ (dépend de h₂ et h₁)
Ces modèles présentaient deux limitations structurelles rédhibitoires :
-
L'impossibilité de paralléliser :
Pour calculer l'état caché \(h_t\) correspondant au dixième mot d'une phrase, le modèle devait impérativement avoir calculé \(h_9\), qui dépendait lui-même de \(h_8\), et ainsi de suite. Le calcul était condamné à être séquentiel. Il était impossible d'exploiter la puissance massivement parallèle des milliers de cœurs des cartes graphiques (GPU). -
L'amnésie des contextes lointains :
Plus une phrase ou un document était long, plus le signal d'information se diluait à travers la chaîne temporelle. Si le sujet d'une phrase se trouvait au début d'un paragraphe de 200 mots et son verbe à la fin, le réseau peinait à maintenir le lien logique entre les deux.
C'est ce double verrou que l'architecture Transformer est venue briser avec panache.
2. Le coup de génie : Le mécanisme d'auto-attention (Self-Attention)#
La proposition révolutionnaire de Vaswani et ses coauteurs est radicale : abandonner totalement les boucles récurrentes et les convolutions pour ne conserver qu'un unique mécanisme mathématique : l'auto-attention (Self-Attention).
Plutôt que de lire un texte mot après mot, le Transformer ingère la totalité de la phrase ou du document en un seul instant.
L'intuition de l'attention contextuelle#
Considérons la phrase suivante :
« L'animal n'a pas traversé la rue parce qu'il était trop fatigué. »
À quoi renvoie le pronom « il » ? Pour un humain, c'est évident : à l'animal.
Mais si l'on remplace le dernier mot :
« L'animal n'a pas traversé la rue parce qu'elle était trop large. »
Le pronom renvoie désormais immédiatement à la rue.
Le mécanisme d'auto-attention permet à chaque mot de poser un « regard » pondéré sur tous les autres mots de la séquence, calculant dynamiquement leur degré d'affinité sémantique et syntaxique.
[ L' ] [ animal ] [ n'a ] [ pas ] [ traversé ] [ la ] [ rue ] [ parce ] [ qu' ] [ il ] [ était ] [ fatigué ]
▲ │
└──────────────── (Poids d'attention très fort) ──────────┘
Le formalisme : Requêtes, Clés et Valeurs (\(Q, K, V\))#
Inspiré par le fonctionnement des bases de données et des moteurs de recherche, le mécanisme d'attention projette chaque mot sous la forme de trois vecteurs : * La Requête (\(Q\), Query) : Ce que le mot recherche dans la phrase. * La Clé (\(K\), Key) : Ce que chaque mot propose comme identifiant ou profil. * La Valeur (\(V\), Value) : L'information concrète contenue dans le mot.
Le score d'attention est calculé par le produit scalaire normalisé de la requête et des clés, passé dans une fonction softmax :
Le facteur d'échelle \(\sqrt{d_k}\) stabilise les gradients lors de l'apprentissage.
L'attention multi-têtes (Multi-Head Attention)#
Pour enrichir la compréhension, le modèle n'utilise pas un seul regard d'attention, mais plusieurs têtes en parallèle (Multi-Head Attention). Une tête peut se spécialiser dans les relations sujet-verbe, une autre dans les coréférences pronominales, et une troisième dans les analogies thématiques.
Requête Q Clé K Valeur V
│ │ │
┌────┴──────────┴─────────┴────┐
│ Multi-Head Attention │
│ (Tête 1, Tête 2, ..., Tête 8)│
└──────────────┬───────────────┘
│
┌──────────────▼───────────────┐
│ Couches Linéaires & Norm │
└──────────────────────────────┘
[!NOTE] L'encodage positionnel (Positional Encoding) :
Comme le Transformer traite tous les mots simultanément sans boucle temporelle, il ignore a priori l'ordre des mots (« Paul bat Pierre » ressemblerait à « Pierre bat Paul »). Pour y remédier, les auteurs additionnent à chaque vecteur de mot une signature géométrique (fondée sur des fonctions trigonométriques sinus et cosinus) indiquant précisément sa position dans la phrase.
3. La bifurcation historique : Encodeurs vs Décodeurs#
L'architecture Transformer originale était conçue pour la traduction et comportait deux blocs : un encodeur (qui analyse le texte source) et un décodeur (qui génère la traduction cible).
Rapidement, la communauté de recherche a découvert que chaque bloc pouvait vivre de manière autonome, donnant naissance à deux dynasties de modèles :
1. La famille des encodeurs : BERT (Google, 2018)#
En 2018, Jacob Devlin et l'équipe de Google lancent BERT (Bidirectional Encoder Representations from Transformers).
BERT utilise uniquement l'encodeur. Entraîné à deviner des mots masqués au milieu de phrases (Masked Language Modeling), il lit le texte dans les deux sens simultanément. BERT est devenu le champion absolu de la compréhension fine : classification de texte, analyse de sentiment, recherche documentaire et questions-réponses.
2. La famille des décodeurs : GPT (OpenAI, 2018 - aujourd'hui)#
À l'inverse, l'équipe d'OpenAI (conduite notamment par Alec Radford et Ilya Sutskever) fait le pari audacieux d'utiliser uniquement le bloc décodeur autorégressif : c'est la série GPT (Generative Pre-trained Transformer).
Le modèle ne regarde que les mots précédents et s'entraîne sur une tâche faussement simple : prédire le mot suivant (Next-token prediction).
4. Les lois d'échelle (Scaling Laws) et l'émergence des LLM#
Entre 2018 et 2020, OpenAI réalise une découverte fondamentale formalisée dans l'article de Jared Kaplan et ses collègues : Scaling Laws for Neural Language Models.
Contrairement aux anciens algorithmes de Machine Learning qui finissaient toujours par saturer, les Transformers obéissent à des lois d'échelle en loi de puissance d'une régularité stupéfiante. Leurs performances s'améliorent de façon prévisible dès lors que l'on augmente conjointement trois facteurs : 1. La taille du modèle (\(N\) : nombre de paramètres). 2. Le volume de données d'entraînement (\(D\) : tokens de texte web de haute qualité). 3. La quantité totale de calcul (\(C\) : budget en FLOPs et clusters de GPU).
Chronologie de l'explosion des paramètres :
┌─────────────────────────────────────────────────────────────┐
│ 2018 : GPT-1 ──► 117 millions de paramètres │
│ 2019 : GPT-2 ──► 1,5 milliard de paramètres │
│ 2020 : GPT-3 ──► 175 milliards de paramètres │
│ 2023 : GPT-4 ──► ~ 1,8 billion (Mixture of Experts) │
└─────────────────────────────────────────────────────────────┘
À mesure que les modèles franchissent des dizaines de milliards de paramètres, des capacités émergentes apparaissent sans avoir été explicitement programmées : * La capacité de raisonner par étapes (Chain of Thought). * La rédaction et le débogage de code informatique complexe (Python, C++, SQL). * La traduction fluide entre des dizaines de langues. * L'apprentissage à partir de quelques exemples seulement (Few-Shot Learning) au sein même de la fenêtre de contexte.
Avec l'introduction du RLHF (Reinforcement Learning from Human Feedback) — une technique d'apprentissage par renforcement permettant d'aligner les réponses des modèles sur les intentions, la politesse et la sécurité humaine —, les LLM sont passés du statut de générateurs de texte bruts à celui d'assistants conversationnels interactifs capables d'épauler des centaines de millions d'utilisateurs au quotidien.
5. Au-delà du texte : Le Transformer universel#
L'universalité du Transformer dépasse désormais largement le cadre de la linguistique : * Vision artificielle : Les Vision Transformers (ViT, Dosovitskiy et al., 2020) découpent les images en petites vignettes traitées comme des « mots », égalant et surpassant les réseaux convolutifs sur les grands jeux de données. * Biologie moléculaire : Le modèle AlphaFold 2 de DeepMind, récompensé par le prix Nobel de chimie en 2024, s'appuie sur une variante d'attention (l'Evoformer) pour prédire avec une précision atomique la structure 3D de centaines de millions de protéines. * Multimodalité : Les modèles modernes (Gemini, GPT-4o, Claude 3.5) traitent nativement et de manière conjointe le texte, la voix, la musique, l'image et la vidéo dans un espace de représentation unifié.
6. Récapitulatif : Les sept étapes majeures de l'histoire du Machine Learning#
Notre voyage à travers la Rubrique ML nous permet de contempler l'arc historique complet de la discipline :
| Étape historique | Événement & Année | Personnalités clés | Idée fondamentale |
|---|---|---|---|
| 1. Les fondations | Le test de Turing (1950) | Alan Turing | Définir l'intelligence par le comportement et l'imitation |
| 2. La naissance | Dartmouth College (1956) | McCarthy, Minsky, Shannon | Créer le champ autonome de l'Intelligence Artificielle |
| 3. Le premier neurone | Le Perceptron (1957) | Frank Rosenblatt | Premier algorithme d'apprentissage supervisé par l'erreur |
| 4. La vision artificielle | Les CNN & LeNet-5 (1989-1998) | Yann LeCun | Partage des poids et convolution inspirés du cortex visuel |
| 5. L'apogée symbolique | Deep Blue vs Kasparov (1997) | Hsu, Campbell, IBM | Puissance de calcul brute, puces dédiées et recherche Minimax |
| 6. L'étincelle moderne | AlexNet & ImageNet (2012) | Krizhevsky, Sutskever, Hinton | Révolution du Deep Learning grâce aux GPU et données massives |
| 7. L'ère des Transformers | Attention Is All You Need (2017) | Vaswani, Shazeer et al. | Auto-attention parallèle, lois d'échelle et modèles de langage (LLM) |
Ce qu'il faut retenir#
- L'attention a libéré les modèles séquentiels : En éliminant la contrainte du traitement mot à mot des RNN/LSTM, le Transformer a permis d'exploiter pleinement le calcul massivement parallèle des puces graphiques.
- Le contexte est roi : Le mécanisme de Self-Attention permet à chaque élément d'une séquence de dialoguer dynamiquement avec tous les autres, capturant des relations sémantiques riches et distantes.
- Le passage à l'échelle fonctionne : Les lois d'échelle empiriques ont démontré que l'augmentation conjointe des données, des paramètres et de la puissance de calcul confère aux modèles des facultés de généralisation et d'abstraction inédites.
- Une architecture devenue universelle : Du texte au code, des images au repliement des protéines, le Transformer s'est imposé comme l'architecture dorsale de toute l'intelligence artificielle contemporaine.
Félicitations ! Vous venez de parcourir l'ensemble de La Rubrique ML. Grâce à cette fresque historique, vous disposez désormais du recul conceptuel nécessaire pour comprendre non seulement d'où vient l'intelligence artificielle, mais aussi où elle nous emmène demain.
Commentaires