1. La révolution architecturale des Transformers

En 2017, une équipe de chercheurs publie l’article fondamental intitulé « Attention Is All You Need ». Cette publication introduit l’architecture Transformer, qui a supplanté les anciens réseaux récurrents (RNN/LSTM) en éliminant le traitement séquentiel et en permettant une parallélisation massive sur GPU.

2. Le mécanisme d’attention (Self-Attention)

Le mécanisme d’attention permet au modèle de pondérer dynamiquement l’importance relative de chaque mot d’une phrase par rapport à tous les autres, quelle que soit la distance qui les sépare. Par exemple, dans la phrase « L’animal n’a pas traversé la rue parce qu’il était trop fatigué », l’attention permet au réseau d’attribuer sans équivoque le pronom « il » à l’animal plutôt qu’à la rue.

3. Tokenisation et espace sémantique vectoriel (Embeddings)

Un modèle de langage ne manipule pas directement des lettres ou des mots, mais des tokens (fragments de mots ou syllabes fréquentes). Ces tokens sont projetés dans un espace vectoriel multidimensionnel à plusieurs centaines ou milliers de dimensions (embeddings). Dans cet espace mathématique, la proximité géométrique reflète la proximité sémantique des concepts.

4. Le pipeline d’entraînement moderne d’un LLM

1. Pré-entraînement non supervisé (Pre-training) : Le modèle ingère des téraoctets de textes pour apprendre la structure statistique de la langue en prédisant le token suivant. C’est l’étape la plus coûteuse en calcul.
2. Ajustement supervisé d’instructions (Instruction Fine-Tuning – SFT) : Entraînement sur des paires soigneusement sélectionnées de questions et réponses de haute qualité.
3. Alignement éthique et humain (RLHF / DPO) : Apprentissage par renforcement basé sur les préférences humaines pour rendre le modèle utile, honnête et inoffensif.