Pour un être humain, identifier un chat sur une photo, lire un panneau de signalisation à 50 km/h ou déchiffrer un code postal griffonné sur une enveloppe est un acte quasi instantané et sans effort conscient. Pour un ordinateur des années 1980, en revanche, c'était un défi titanesque.
Une image numérique n'est rien d'autre qu'une immense grille de chiffres : des valeurs d'intensité de pixels allant de 0 à 255. Comment extraire du sens, reconnaître des formes géométriques et tolérer les déformations, les variations d'angle ou d'éclairage à partir d'un simple tableau de nombres ?
La réponse est venue d'une convergence magistrale entre la neurobiologie de la vision, l'analyse harmonique et l'obstination d'un chercheur français : Yann LeCun.
1. L'impasse des réseaux de neurones classiques face aux images#
À la fin des années 1980, les réseaux de neurones multicouches (Multi-Layer Perceptrons ou MLP) reprennent vie grâce à la redécouverte de la rétropropagation du gradient. Cependant, lorsqu'on tente de les appliquer à la vision par ordinateur, on se heurte à deux problèmes majeurs :
-
L'explosion combinatoire des paramètres :
Dans un réseau dense, chaque neurone est connecté à chaque pixel d'entrée. Pour une modeste image couleur de \(200 \times 200\) pixels (\(120\,000\) valeurs en entrée), une première couche cachée de seulement 1 000 neurones exigerait déjà 120 millions de poids à apprendre ! Le modèle deviendrait impossible à entraîner et surajusterait immédiatement (overfitting). -
La perte de la topologie 2D et le manque d'invariance :
Un réseau dense commence par « aplatir » l'image en un vecteur 1D unidimensionnel. Ce faisant, il oublie complètement la proximité spatiale entre pixels voisins. Pire encore : si un motif (comme un chiffre « 7 ») est légèrement décalé de quelques pixels vers la gauche, les entrées activées changent totalement, et le réseau échoue à le reconnaître.
Il fallait inventer une architecture capable d'exploiter la géométrie naturelle des images : c'est la naissance des réseaux convolutifs (Convolutional Neural Networks ou CNN).
2. L'inspiration biologique : Le cortex visuel de Hubel et Wiesel (1959)#
L'architecture des CNN ne sort pas du néant : elle trouve ses racines directes dans les découvertes neurophysiologiques de David Hubel et Torsten Wiesel à l'université Harvard, couronnées par le prix Nobel de médecine en 1981.
En enregistrant l'activité électrique des neurones du cortex visuel primaire (aire V1) chez le chat et le singe, Hubel et Wiesel mettent en lumière deux principes révolutionnaires :
- Les champs récepteurs restreints (Receptive Fields) : Chaque neurone visuel ne traite pas l'ensemble de la scène, mais réagit uniquement à une minuscule zone locale du champ visuel.
- La hiérarchie des cellules simples et complexes :
- Les cellules simples s'activent pour des motifs très élémentaires (bords, lignes orientées selon un certain angle).
- Les cellules complexes combinent les réponses des cellules simples pour détecter des formes plus élaborées, tout en offrant une invariance locale par translation (le motif est reconnu même s'il bouge un peu).
Scène visuelle ──► [ Cellules simples ] ──► [ Cellules complexes ] ──► Perception
(Pixels bruts) (Détection de bords) (Combinaison & invariance) (Formes & objets)
En 1980, le chercheur japonais Kunihiko Fukushima s'inspire directement de ces travaux pour concevoir le Néocognitron (Neocognitron). Cette architecture alterne des couches de cellules « S » (extraction de caractéristiques) et de cellules « C » (tolérance aux décalages).
Le Néocognitron est le véritable ancêtre structurel des CNN, mais il lui manquait une pièce maîtresse : un algorithme d'optimisation universel capable d'entraîner toutes les couches conjointement par descente de gradient.
3. Yann LeCun et l'acte de naissance des CNN (1989)#
C'est à Yann LeCun que revient le coup de maître. Diplômé de l'ESIEE et docteur de l'université Pierre-et-Marie-Curie à Paris, LeCun rejoint d'abord le laboratoire de Geoffrey Hinton à l'université de Toronto, avant d'intégrer en 1988 les mythiques laboratoires Bell (AT&T Bell Labs) dans le New Jersey.
En 1989, LeCun publie un article historique : Backpropagation Applied to Handwritten Zip Code Recognition.
Il démontre qu'il est possible d'entraîner un réseau de neurones de bout en bout en appliquant la rétropropagation du gradient directement sur des couches convolutives. L'algorithme apprend lui-même les filtres optimaux à partir de données réelles fournies par l'US Postal Service (les codes postaux manuscrits sur les enveloppes américaines).
Entrée 16x16 ──► [ 12 Filtres Conv 5x5 ] ──► [ Sous-échantillonnage 2x2 ] ──► [ Couches Denses ] ──► Sortie 0-9
Cette publication prouve au monde entier que les réseaux de neurones ne sont pas de simples jouets académiques, mais des outils redoutablement efficaces pour l'ingénierie du monde réel.
4. Les piliers théoriques : Pourquoi la convolution est-elle magique ?#
Pour comprendre l'élégance des CNN, trois mécanismes fondamentaux opèrent en synergie :
1. La connectivité locale (Local Receptivity)#
Au lieu de connecter chaque neurone à toute l'image, chaque unité d'une couche convolutive n'est connectée qu'à une petite fenêtre carrée de pixels voisins, typiquement de taille \(3 \times 3\) ou \(5 \times 5\).
2. Le partage des poids (Weight Sharing)#
C'est la trouvaille géniale : un même filtre (ou noyau de convolution, kernel) glisse sur l'ensemble de l'image de gauche à droite et de haut en bas.
Si un filtre apprend à détecter un bord vertical ou une courbe, il peut reconnaître ce bord n'importe où sur l'image sans avoir à réapprendre un paramètre différent pour chaque position. Le nombre de paramètres à entraîner chute de façon spectaculaire.
3. Le sous-échantillonnage (Pooling / Subsampling)#
Après avoir détecté la présence d'une caractéristique par convolution, la position exacte au pixel près devient secondaire. Une couche de réduction d'échelle (comme le Max Pooling ou l'Average Pooling) divise les dimensions spatiales par deux, comprimant l'information, accélérant les calculs et apportant une précieuse robustesse aux légères distorsions et rotations.
┌───┬───┬───┬───┐
│ 1 │ 3 │ 2 │ 4 │
Max-Pooling ├───┼───┼───┼───┤ ┌───┬───┐
taille 2x2 │ 5 │ 6 │ 1 │ 2 │ ───► │ 6 │ 4 │
foulée (stride) ├───┼───┼───┼───┤ ├───┼───┤
de 2 │ 0 │ 2 │ 7 │ 8 │ │ 3 │ 8 │
├───┼───┼───┼───┤ └───┴───┘
│ 3 │ 1 │ 3 │ 4 │
└───┴───┴───┴───┘
5. LeNet-5 (1998) : Le modèle de référence#
En 1998, Yann LeCun, Léon Bottou, Yoshua Bengio et Patrick Haffner publient un article de synthèse monumental de 46 pages dans les Proceedings of the IEEE : Gradient-Based Learning Applied to Document Recognition.
Ils y dévoilent l'architecture de LeNet-5, devenue l'étalon-or absolu de la vision par ordinateur :
[ Image d'entrée ] 32x32 pixels
│
▼
[ Conv C1 ] 6 cartes de caractéristiques (filtres 5x5) -> dimensions 28x28
│
▼
[ Subsampling S2 ] Échantillonnage moyen 2x2 -> dimensions 14x14
│
▼
[ Conv C3 ] 16 cartes de caractéristiques (filtres 5x5) -> dimensions 10x10
│
▼
[ Subsampling S4 ] Échantillonnage moyen 2x2 -> dimensions 5x5
│
▼
[ Conv C5 ] 120 cartes de caractéristiques 1x1 (totalement connectées)
│
▼
[ Dense F6 ] 84 neurones fully-connected
│
▼
[ Sortie ] 10 classes (chiffres de 0 à 9)
Pour évaluer rigoureusement LeNet-5, LeCun et son équipe créent le jeu de données MNIST (Modified National Institute of Standards and Technology) : une base de 70 000 images de chiffres manuscrits normalisés (\(28 \times 28\) pixels en niveaux de gris). MNIST deviendra le « Hello World » universel de toute la communauté du Machine Learning pendant les 25 années suivantes.
[!NOTE] LeNet-5 sur le terrain industriel :
Loin d'une simple curiosité de laboratoire, LeNet-5 est déployé à grande échelle par NCR et les banques américaines à la fin des années 1990. Le système traitait avec un taux d'erreur infime plus de 10 à 20 % de tous les chèques bancaires manuscrits en circulation aux États-Unis !
6. La traversée du désert avant l'explosion de 2012#
Malgré le triomphe industriel de LeNet-5 sur les chèques bancaires, le reste de la communauté de l'intelligence artificielle se détourne paradoxalement des réseaux de neurones au début des années 2000.
Pourquoi ce désintérêt temporaire ?
- L'hégémonie des SVM (Support Vector Machines) : Développées notamment par Vladimir Vapnik (ironiquement collègue de LeCun chez Bell Labs), les SVM reposent sur une théorie mathématique élégante (l'optimisation convexe) garantissant un minimum global sans risque de minima locaux.
- Le goulet d'étranglement matériel : Entraîner des réseaux convolutifs sur de grands volumes d'images haute définition prenait des semaines sur les processeurs (CPU) de l'époque.
Yann LeCun et une poignée de pionniers (Geoffrey Hinton, Yoshua Bengio) continuent pourtant d'y croire fermement, entretenant la flamme du connexionnisme contre vents et marées.
Leur intuition sera magistralement confirmée en 2012, quand l'arrivée conjointe des processeurs graphiques (GPU) et de bases de données colossales donnera naissance à AlexNet, propulsant les CNN au centre de l'industrie technologique mondiale.
Ce qu'il faut retenir#
- Une architecture calquée sur le vivant : Les CNN s'inspirent directement du cortex visuel biologique modélisé par Hubel et Wiesel (champs récepteurs locaux et hiérarchie de traitement).
- Le partage des poids résout l'explosion combinatoire : En appliquant un même filtre sur toute l'image, les réseaux convolutifs réduisent considérablement le nombre de paramètres par rapport aux réseaux denses.
- LeNet-5 (1998) a posé les bases modernes : L'alternance convolution \(\to\) sous-échantillonnage \(\to\) couches denses inventée par Yann LeCun est restée le patron architectural incontournable de la vision artificielle.
- Une efficacité prouvée dans le monde réel : Bien avant la mode du Deep Learning contemporain, les CNN lisaient déjà des millions de chèques bancaires dans les banques américaines dès la fin du XXᵉ siècle.
Dans le prochain volet de la Rubrique ML, nous nous intéresserons à un autre affrontement légendaire : la victoire fracassante de Deep Blue contre Garry Kasparov en 1997, apogée de l'intelligence artificielle symbolique et de la recherche arborescente.
Commentaires