Road to AMI Labs
Distributions
Chapitre 1 · Leçon 4
Distributions de probabilité
Le problème : comment modéliser l'incertitude ?
Tu entraînes un classifieur sur ImageNet. Pour une image de chat, le modèle ne dit pas "c'est un chat" — il dit "chat : 0.87, tigre : 0.08, lynx : 0.03, ...". C'est une distribution de probabilité sur les 1000 classes. Toute la sortie d'un réseau de neurones avec softmax est une distribution. Comprendre les distributions, c'est comprendre ce que le modèle "croit".
Key Idea
Une distribution de probabilité assigne une probabilité à chaque événement possible. En deep learning, les distributions sont partout : sorties softmax (catégorielle), bruit d'augmentation (gaussienne), priors des modèles latents (gaussienne isotrope). Maîtriser les distributions, c'est maîtriser le langage de l'incertitude.
Discret vs continu : deux mondes, mêmes règles
Classifier vs générer
Un classifieur ImageNet produit une distribution discrète sur 1000 classes. Un modèle de diffusion produit une distribution continue sur l'espace des images (chaque pixel peut prendre n'importe quelle valeur réelle). Les outils mathématiques sont légèrement différents, mais l'intuition est la même.
Variable aléatoire discrète
Une variable aléatoire discrète prend des valeurs dans un ensemble fini ou dénombrable . Sa distribution est décrite par une (PMF) : , avec .
