Road to AMI Labs
Expectation Variance
Chapitre 1 · Leçon 5
Espérance, variance et covariance
Le problème : résumer une distribution en quelques nombres
Ton modèle produit des loss values différentes à chaque batch : 2.3, 1.8, 2.1, 1.9, 2.0, ... Tu veux savoir : "en moyenne, quelle est la loss ?" et "à quel point est-elle stable ?". L'espérance répond à la première question, la variance à la seconde. Ces deux nombres résument l'essentiel d'une distribution.
Key Idea
L'espérance est la "valeur typique" d'une variable aléatoire. La variance mesure sa dispersion. La covariance mesure la relation linéaire entre deux variables. En deep learning, ces concepts sont partout : la loss est une espérance, le terme de variance de VICReg contrôle la dispersion des embeddings, et la matrice de covariance est au cœur de la régularisation.
