1. De Word2Vec aux plongements contextualisés

Le traitement automatique du langage naturel a longtemps souffert de l’encodage One-Hot, incapable de mesurer la proximité sémantique des mots. L’avènement des plongements vectoriels denses (Word Embeddings) a permis de projeter les mots dans un espace continu où la distance cosinus reflète la synonymie sémantique : Vecteur('Roi') - Vecteur('Homme') + Vecteur('Femme') ≈ Vecteur('Reine').

2. L’article fondateur « Attention Is All You Need » (Vaswani et al., 2017)

L’architecture Transformer a définitivement supplanté les anciens réseaux récurrents (RNN, LSTM) en éliminant la contrainte séquentielle temporelle. Son moteur fondamental est le mécanisme de Scaled Dot-Product Self-Attention :

Attention(Q, K, V) = softmax( (Q · K^T) / √(d_k) ) · V

Chaque mot (token) projette trois vecteurs : une Requête (Query Q), une Clé (Key K) et une Valeur (Value V). L’attention multi-têtes (Multi-Head Attention) permet au modèle de relier dynamiquement chaque mot à tous les autres mots de la phrase, résolvant instantanément les dépendances à longue distance et les ambiguïtés pronominales.

3. Les grandes familles de modèles Transformers

  • Encodeurs seuls (ex. BERT, RoBERTa) : Analyse bidirectionnelle du contexte. Idéal pour la classification de texte, l’extraction d’entités nommées (NER) et la recherche sémantique.
  • Décodeurs autorégressifs (ex. GPT-4, LLaMA, Mistral) : Génération causale mot à mot de gauche à droite. Cœur battant des modèles de langage massifs contemporains.
PreviousNext