Road to AMI Labs

Decompositions

Algèbre linéaire·Bloom 3

Chapitre 1 · Leçon 3

Décompositions matricielles : eigenvalues, SVD et PCA

Le problème : comprendre ce que fait réellement une matrice

Tu as une matrice de poids $\mathbf{W} \in \mathbb{R}^{2048 \times 2048}$ dans ton modèle. C'est plus de 4 millions de nombres. Comment comprendre ce que cette transformation fait à l'espace ? La réponse : tu la décomposes en opérations simples — rotations et mises à l'échelle. C'est exactement ce que font la décomposition spectrale et la SVD.

Key Idea

Toute matrice peut être décomposée en opérations élémentaires (rotations + étirements). Les valeurs propres et la SVD révèlent la structure cachée d'une transformation — quelles directions sont amplifiées, compressées ou ignorées. C'est la base de PCA, du low-rank approximation, et du diagnostic de collapse en SSL.

Décompositions matricielles : eigenvalues, SVD et PCA

Le problème : comprendre ce que fait réellement une matrice

Key Idea

Composantes	Variance expliquée
Top 10	45%
Top 50	78%
Top 100	91%
Top 256	98%

$\kappa$	Interprétation	Conséquence
$\approx 1$	Parfaitement conditionné	Gradients stables
$10^2 - 10^4$	Modérément mal conditionné	Entraînement possible avec précautions
$> 10^6$	Très mal conditionné	Instabilité numérique probable
$\infty$	Singulier	Matrice non inversible

Profil spectral	Diagnostic	Action
Quelques $\sigma_i$ dominants, le reste ≈ 0	Dimensional collapse	Augmenter le poids du terme de covariance
Tous les $\sigma_i$ identiques	Bruit uniforme (pas d'apprentissage)	Vérifier le learning rate, l'architecture
Décroissance progressive	Bon modèle	Les premières composantes = features sémantiques

Modèle	Rang effectif	Top-1 accuracy (linear probe)
VICReg (collapse)	23	42%
VICReg (bon)	847	73%
I-JEPA (ViT-H)	1,102	77%

Concept	Essentiel à retenir
Valeurs/vecteurs propres	$\mathbf{A}\mathbf{v} = \lambda\mathbf{v}$ — les axes naturels d'une transformation
Décomposition spectrale	$\mathbf{A} = \mathbf{Q}\Lambda\mathbf{Q}^T$ — pour matrices symétriques
SVD	$\mathbf{A} = \mathbf{U}\Sigma\mathbf{V}^T$ — pour toute matrice, rotation + échelle + rotation
PCA	Projection sur les directions de variance maximale via SVD
Low-rank approximation	Meilleure approximation de rang $k$ (Eckart-Young) — base de LoRA
Nombre de condition	$\kappa = \sigma_{\max}/\sigma_{\min}$ — stabilité numérique
Rang effectif	Entropie du spectre normalisé — diagnostic de collapse

Decompositions

Décompositions matricielles : eigenvalues, SVD et PCA

Decompositions

Décompositions matricielles : eigenvalues, SVD et PCA

Valeurs propres et vecteurs propres

Décomposition spectrale

Décomposition en valeurs singulières (SVD)

PCA : réduction de dimensionnalité par SVD

Approximation de rang faible

Nombre de condition : stabilité numérique

Application : diagnostiquer un modèle SSL avec la SVD

Références