1. L’algèbre linéaire : le langage naturel des modèles de Deep Learning

Au cœur de tout modèle d’intelligence artificielle réside une succession d’opérations d’algèbre linéaire. Un réseau de neurones n’est rien d’autre qu’une composition de transformations affines entre espaces vectoriels réels de très grande dimension : f(x) = σ(W · x + b).

L’étudiant de Bachelor doit maîtriser parfaitement :

  • Espaces vectoriels, bases et sous-espaces : Projection orthogonale, normes (L1, L2, L-infini) et distances dans ℝn.
  • Opérations matricielles et factorisation : Produit matriciel, déterminant, trace, inversion et pseudo-inverse de Moore-Penrose.
  • Décomposition spectrale et SVD (Singular Value Decomposition) : Diagonalisation, valeurs propres et vecteurs propres (Eigenvalues / Eigenvectors), réduction de rang et compression d’information.

2. Calcul différentiel multivarié et le tenseur Gradient

L’apprentissage automatique consiste à minimiser une fonction de coût empirique L(θ) sur un espace de paramètres θ ∈ ℝd comptant fréquemment plusieurs milliards de dimensions. Pour orienter la recherche du minimum, on calcule le vecteur des dérivées partielles : le gradient ∇L(θ).

Pour les fonctions vectorielles, on étudie la matrice Jacobienne (dérivées premières croisées) et la matrice Hessienne (dérivées secondes modélisant la courbure locale et permettant de distinguer minima locaux, maxima et points selles).

3. Algorithmes d’optimisation par descente de gradient

La mise à jour itérative des paramètres repose sur la règle de descente le long de la plus grande pente :

θ_(t+1) = θ_t - η · ∇L(θ_t)

où η représente le taux d’apprentissage (Learning Rate). En pratique, sur des millions d’exemples d’entraînement, le calcul du gradient exact est trop coûteux ; on utilise la descente de gradient stochastique par mini-lots (Mini-batch SGD), accélérée par l’inertie (Momentum) et les taux adaptatifs.

Next