1. Le théorème d’approximation universelle

Établi par George Cybenko (1989) pour les fonctions d’activation sigmoïdales et étendu par Kurt Hornik, le théorème d’approximation universelle prouve qu’un réseau de neurones à propagation avant (Feedforward Neural Network) doté d’une seule couche cachée contenant un nombre fini de neurones peut approximer n’importe quelle fonction continue sur un sous-espace compact de ℝn avec une précision arbitraire. La profondeur (nombre de couches successives) permet de décomposer hiérarchiquement des représentations conceptuelles de plus en plus abstraites avec une efficacité exponentielle de paramètres.

2. La dérivation analytique de la rétropropagation (Backpropagation)

L’entraînement d’un réseau profond repose sur l’application répétée de la règle de dérivation des fonctions composées (Chain Rule). Pour une couche l :

z^[l] = W^[l] · a^[l-1] + b^[l]
a^[l] = σ(z^[l])

∂L / ∂W^[l] = (∂L / ∂z^[l]) · (a^[l-1])^T
∂L / ∂z^[l-1] = (W^[l])^T · (∂L / ∂z^[l]) ⊙ σ'(z^[l-1])

Ce mécanisme permet de propager le signal d’erreur de la sortie vers l’entrée du réseau en un temps linéaire par rapport au nombre de poids synaptiques.

3. Les fonctions d’activation et de perte

  • Fonctions d’activation : Du classique Sigmoïde et Tanh (sujets à l’évanouissement du gradient – Vanishing Gradient) au ReLU (Rectified Linear Unit), Leaky ReLU, et GELU (Gaussian Error Linear Unit, standard des modèles Transformers).
  • Fonctions de perte (Loss Functions) :
    • Erreur Quadratique Moyenne (MSE) et Huber Loss pour la régression continue.
    • Entropie Croisée Binaire (BCE) et Entropie Croisée Catégorielle pour la classification probabiliste.
PreviousNext