Road to AMI Labs

Divergences

Probabilités & statistiques·Bloom 3

Chapitre 1 · Leçon 6

Divergences et distances entre distributions

Le problème : comment mesurer la différence entre deux distributions ?

Tu entraînes un VAE. L'encodeur produit une distribution $q(\mathbf{z}|\mathbf{x})$ dans l'espace latent. Tu veux qu'elle soit proche du prior $p(\mathbf{z}) = \mathcal{N}(\mathbf{0}, \mathbf{I})$ . Mais comment mesurer la "distance" entre deux distributions ? La distance euclidienne ne s'applique pas aux distributions. Il te faut une — une mesure de dissimilarité entre distributions de probabilité.

← Probabilités & statistiques11 min

Road to AMI Labs

Divergences

Probabilités & statistiques·Bloom 3

Chapitre 1 · Leçon 6

Divergences et distances entre distributions

Le problème : comment mesurer la différence entre deux distributions ?

Direction	Comportement	Utilisée dans
$D_{\text{KL}}(p \\| q)$ (forward KL)	$q$ doit couvrir tout le support de $p$ → mean-seeking	Variational inference
$D_{\text{KL}}(q \\| p)$ (reverse KL)	$q$ peut ignorer des modes de $p$ → mode-seeking	VAE (ELBO)

Propriété	KL	JSD	Wasserstein
Symétrique	❌	✅	✅
Métrique	❌	✅ ( $\sqrt{\text{JSD}}$ )	✅
Finie si supports disjoints	❌ ( $+\infty$ )	✅ (= $\log 2$ )	✅
Gradient informatif	Parfois	Parfois	✅ (toujours)
Coût computationnel	Faible	Faible	Élevé

WGAN vs GAN original

	GAN (JSD)	WGAN (Wasserstein)
Discriminateur	Classifieur binaire	Critique (valeur réelle)
Gradient quand supports disjoints	0 (inutile)	Proportionnel à la distance
Mode collapse	Fréquent	Moins fréquent
Stabilité	Fragile	Plus stable

Divergence	$f(t)$	Formule
KL	$t \log t$	$\sum p \log(p/q)$
Reverse KL	$-\log t$	$\sum q \log(q/p)$
JSD	$-(1+t)\log\frac{1+t}{2} + t\log t$	$\frac{1}{2} D_{KL} (p ∥ m)$
Chi-carré	$(t-1)^2$	$\sum \frac{(p-q)^2}{q}$
Total variation	$\frac	t-1
Hellinger	$(\sqrt{t} - 1)^2$	$\sum (\sqrt{p} - \sqrt{q})^2$

Tâche	Divergence/Loss	Pourquoi
Classification	Cross-entropy ( $\approx$ KL)	Gradient proportionnel à l'erreur
VAE	KL (reverse) dans l'ELBO	Forme analytique pour gaussiennes
GAN original	JSD (implicite)	Symétrique, bornée
WGAN	Wasserstein	Gradient toujours informatif
Distillation (KD)	KL entre softmax/température	Transfert de "dark knowledge"
Contrastif (SimCLR)	InfoNCE ( $\approx$ MI bound)	Borne inférieure sur l'information mutuelle
JEPA (I-JEPA)	MSE dans l'espace latent	Pas de distribution explicite

Summary

Concept	Essentiel à retenir
KL divergence	$D_{\text{KL}}(p\\|q)$ — asymétrique, coût de l'approximation
Cross-entropy	$H(p,q) = H(p) + D_{\text{KL}}(p\\|q)$ — loss de classification
Jensen-Shannon	JSD — KL symétrisée, bornée, utilisée dans les GANs
Wasserstein	Seule vraie métrique — gradient toujours informatif
f-divergences	Famille unificatrice : KL, JSD, chi-carré sont des cas particuliers
JEPA vs divergences	JEPA évite les divergences → distance euclidienne dans l'espace latent

\mathcal{L} = -\log(0.4) = 0.916

+

\frac{1}{2}

D_{KL}

(

q

∥

m

)

\frac{1}{2}D_{\text{KL}}(p\|m) + \frac{1}{2}D_{\text{KL}}(q\|m)

Divergences

Divergences et distances entre distributions

Divergences

Divergences et distances entre distributions

KL divergence : la divergence fondamentale

Cross-entropy : la loss de classification

Jensen-Shannon divergence : symétriser la KL

Distance de Wasserstein : la seule vraie métrique

Dualité de Kantorovich-Rubinstein

f-divergences : le cadre unificateur

Application : le choix de la divergence en deep learning

Références