Une base spectrale précise n'est pas forcément la bonne représentation

Optimiser n'est pas tout mesurer

Online Kernel Supervised Principal Component Analysis, ou OKSPCA, maintient en ligne une base orthonormée à partir d’un moment croisé entre features aléatoires des entrées et des cibles. Le papier distingue quatre questions souvent mélangées : l’optimisation de l’objectif empirique, la proximité du sous-espace exact, la qualité prédictive et le coût de fournir une base lorsqu’elle est demandée.

Cette séparation évite de transformer un score spectral proche de l’optimum en promesse de meilleure prédiction ou de récupération de la structure de population. Les résultats portent sur l’opérateur à features finies étudié, pas sur une garantie d’approximation de noyau complet.

Un test à cible constante

Les auteurs remplacent, à moment empirique identique, la base suivie en ligne par sa solution spectrale exacte. Sur les deux tâches de régression, ce remplacement laisse presque inchangés les écarts observés : le changement moyen de R² est de +0,000141 sur Friedman-1 et de +0,000027 sur Kin8nm. Cela affaiblit l’hypothèse selon laquelle l’inconvénient prédictif viendrait seulement de l’erreur terminale du tracker, sans identifier une cause unique parmi les features, la cible, le budget de rang et l’évaluateur.

Sur les modèles de classification entraînés directement au rang requis, les ratios d’objectif terminal vont de 0,998824 à 0,999951. Pourtant, la trajectoire intermédiaire n’est pas uniformément proche : un checkpoint Sensorless atteint un angle principal maximal de 78,099 degrés, avec un ratio géométrique de 0,970687 à l’observation 23 404.

Empirique et population ne sont pas synonymes

Dans une expérience à features fixes dont le sous-espace de population est connu, le ratio d’objectif empirique en ligne atteint 0,995834 à 256 observations, alors que le ratio par rapport à l’objectif de population est d’environ 0,731. La base peut donc presque optimiser la cible observée tout en restant éloignée de la structure recherchée dans la population.

La grille contrôlée finit avec une distance médiane entre tracker et solution empirique de 0,01128, mais elle n’établit ni un taux de convergence du tracker pratique ni une généralisation aux standardiseurs et cartes qui évoluent dans les benchmarks prédictifs.

Le coût dépend de la requête

Les services comparés opposent calcul exact à la demande, mise à jour Adam, cache périodique et quelques services exacts structurés. L’exact à la demande est plus rapide dans les scénarios de classification testés. Adam gagne du temps dans certaines requêtes de régression plus larges, mais cette économie s’accompagne d’erreurs géométriques persistantes. Un cache peut aussi répondre vite avec une base obsolète ou un rang insuffisant : fraîcheur, couverture, qualité et temps doivent rester des mesures distinctes.

Limites

Les six benchmarks prédictifs et les workloads numériques restent contrôlés et ne constituent ni un déploiement ni une étude de dérive. La théorie de concentration suppose des cartes et prétraitements fixes, tandis que l’implémentation pratique fait évoluer certains éléments. Le comparatif ne teste pas un solveur distinct de rang faible ou une mise à jour incrémentale avec budget explicite ; les temps instrumentés ne sont pas des latences de file d’attente en production. Les comparaisons prédictives conservent enfin des différences de cible, de projection, de rang, de tuning et d’évaluateur.

Sources

Zhenlin Yao, Wei Xiong, « Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs », ArXiv 2609.20454v1, consulté le 22 septembre 2026 : résumé et preprint, PDF.