1. La modélisation de l’incertitude dans les systèmes intelligents

Dans le monde réel, les données sont incomplètes, bruitées et intrinsèquement aléatoires. La théorie des probabilités fournit le formalisme mathématique rigoureux permettant aux algorithmes de quantifier et propager l’incertitude.

2. Le théorème de Bayes et l’actualisation des croyances

Le théorème de Bayes est le pivot de l’apprentissage probabiliste. Il formalise la manière dont une observation nouvelle D modifie notre croyance a priori sur une hypothèse θ :

P(θ|D) = [ P(D|θ) · P(θ) ] / P(D)

• P(θ) – Prior (A priori) : Distribution de probabilité sur les paramètres avant d’observer les données.
• P(D|θ) – Vraisemblance (Likelihood) : Probabilité d’observer les données sous l’hypothèse des paramètres θ.
• P(θ|D) – Posterior (A posteriori) : Distribution révisée après confrontation aux observations.
• P(D) – Évidence : Constante de normalisation marginalisant sur l’espace des paramètres.

3. Lois de probabilités fondamentales et estimation par Maximum de Vraisemblance (MLE)

L’étudiant analyse les propriétés mathématiques des lois usuelles (Bernoulli, Binomiale, Gaussienne multivariée, Poisson, Dirichlet). L’estimation par Maximum de Vraisemblance (Maximum Likelihood Estimation – MLE) établit le pont théorique direct avec les fonctions de perte du Deep Learning : minimiser la Cross-Entropy Loss équivaut exactement à maximiser la log-vraisemblance d’une distribution multinomiale.