Road to AMI Labs

Mutual Information

Théorie de l'information·Bloom 2

Chapitre 1 · Leçon 11

Information mutuelle

Le problème : combien d'information les embeddings partagent-ils avec les labels ?

Tu as entraîné un modèle SSL. Les embeddings $\mathbf{Z}$ ne sont pas entraînés avec des labels, mais tu espères qu'ils capturent l'information sémantique. Comment mesurer combien d'information sur les classes $Y$ est contenue dans $\mathbf{Z}$ ? L'information mutuelle $I(\mathbf{Z}; Y)$ répond exactement à cette question — c'est la quantité d'information que et partagent.

← Théorie de l'information11 min

Road to AMI Labs

Mutual Information

Théorie de l'information·Bloom 2

Chapitre 1 · Leçon 11

Information mutuelle

Le problème : combien d'information les embeddings partagent-ils avec les labels ?

    ┌─────────────────────────────────────┐
    │           H(X, Y)                   │
    │  ┌──────────┐   ┌──────────┐        │
    │  │          │   │          │        │
    │  │  H(X|Y)  │I(X;Y)│ H(Y|X)  │        │
    │  │          │   │          │        │
    │  └──────────┘   └──────────┘        │
    │  ◄── H(X) ──►   ◄── H(Y) ──►       │
    └─────────────────────────────────────┘

Méthode	Type	Principe
KDE (kernel density)	Estimation directe	Estimer $p(x,y)$ par noyaux — ne marche qu'en basse dimension
MINE	Borne inférieure	$I(X;Y) \geq \sup_T \mathbb{E}[T(x,y)] - \log \mathbb{E}[e^{T(x,y')}]$
InfoNCE	Borne inférieure	$I(X;Y) \geq \log N - \mathcal{L}_{\text{NCE}}$
BA (Barber-Agakov)	Borne inférieure	$I(X;Y) \geq H(Y) + \mathbb[\log q(y
CLUB	Borne supérieure	$I(X;Y) \leq \mathbb[\log q(y

InfoNCE avec différentes tailles de batch

Batch size $N$	Borne max sur MI	$\mathcal{L}_{\text{InfoNCE}}$ optimale
256	$\log 256 = 5.55$ nats	0
4096	$\log 4096 = 8.32$ nats	0
65536	$\log 65536 = 11.09$ nats	0

C'est pourquoi SimCLR et MoCo utilisent de très grands batches (ou memory banks) — pour relever le plafond de la borne sur la MI.

Méthode	Objectif informationnel
SimCLR / MoCo	Maximiser $I(Z_1; Z_2)$ entre deux vues (via InfoNCE)
VICReg	Maximiser $I(Z; X)$ implicitement (variance + covariance)
Barlow Twins	Maximiser $I(Z_1; Z_2)$ via décorrélation
DINO	Maximiser $I(Z_s; Z_t)$ entre student et teacher
I-JEPA	Maximiser $I(Z_{\text{pred}}; Z_{\text{target}})$ dans l'espace latent
MAE	Maximiser $I(\hat{X}; X)$ dans l'espace des pixels

Summary

Concept	Essentiel à retenir
Information mutuelle	$I(X;Y) = H(X) - H(X
Diagramme de Venn	$H(X,Y) = H(X) + H(Y) - I(X;Y)$
InfoNCE	Borne inférieure sur MI — plafond $\log N$
Data Processing Inequality	$X \to Y \to Z \Rightarrow I(X;Z) \leq I(X;Y)$
MI conditionnelle	$I(X;Y
SSL et MI	Contrastif = max MI entre vues, JEPA = max MI dans l'espace latent

Y

)

=

H

(

Y

)

-

H

(

Y

∣

X

)

I(X; Y) = H(Y) - H(Y|X)

Mutual Information

Information mutuelle

Mutual Information

Information mutuelle

Définition et interprétations

Le diagramme de Venn de l'information

Estimation de l'information mutuelle

InfoNCE comme borne inférieure sur la MI

Data Processing Inequality : l'information ne peut que diminuer

MI et représentations suffisantes

MI conditionnelle et chaîne de MI

Application : MI dans le self-supervised learning

Références