Évaluer un système fermé sans transformer l’absence de preuve en score

Un score peut être reproductible et trompeur

Une évaluation d’IA peut être exécutée exactement de la même manière plusieurs fois et pourtant soutenir une conclusion erronée. Le problème n’est pas nécessairement un calcul faux ; il peut venir du décalage entre le construit annoncé et ce que les traces permettent réellement d’observer. Le preprint de Peiying Zhu et Sidi Chang propose un protocole de mesure pour les systèmes en boucle fermée, dans lesquels la politique évaluée contribue elle-même à produire les états et les données observés.

Le protocole tient en trois verbes : Refuse, Decompose, Refresh. Refuse signifie s’abstenir lorsqu’une comparaison ne possède pas le support observable nécessaire. Decompose signifie séparer l’intégrité de l’exécution, l’admission opérationnelle, la couverture, la puissance et les hypothèses structurelles. Refresh signifie invalider puis recalculer la référence lorsqu’un changement de distribution rend l’ancien détecteur inadapté.

Pourquoi la boucle fermée change la mesure

Dans un benchmark classique, on peut considérer les exemples comme donnés. Dans une boucle fermée, la politique choisit les états qu’elle visite. Un composant défectueux qui n’est jamais sollicité ne laissera aucun signal ; une demande modifiée peut déplacer le trafic vers une autre région sans qu’aucune faute ne soit injectée. Forcer tous les cas planifiés dans un score unique transforme alors une absence de support en performance apparente.

Les auteurs formulent l’évaluation comme un contrat de revendication. Ce contrat doit préciser quelles preuves sont nécessaires avant de définir un score, quelle unité soutient l’incertitude, quelle variable mesure l’exposition à l’intervention, quelle distribution définit le nul du détecteur et quelles conclusions restent logiquement indépendantes. Cette discipline est plus exigeante qu’une moyenne globale, mais elle rend visible ce que le système n’a pas permis de mesurer.

Refuse : l’abstention avant le score

Le cas d’étude contient 24 composants de politique, trois régimes de demande et deux familles de fautes contrefactuelles. Les composants sont organisés par quart temporel, moitié d’inventaire et tiers de marché, soit 72 unités régime-composant. Pour chaque unité, le protocole enregistre 15 partitions de traces agrégées typées.

Une partition de référence est considérée comme soutenue lorsque son compte de support atteint au moins 12. Une unité entre dans la carte de référence si au moins 14 partitions sur 15 satisfont cette condition. À l’exécution, la comparaison est appariée : la trace de référence et la trace courante doivent toutes deux être soutenues dans la même partition. Là encore, au moins 14 partitions sur 15 doivent être admissibles, et les deux directions d’évaluation doivent être valides avant d’être combinées.

Cette règle évite une erreur fréquente. Quatorze partitions de référence soutenues et quatorze partitions courantes soutenues ne constituent pas forcément quatorze comparaisons soutenues si les partitions ne coïncident pas. En cas d’échec, le protocole renvoie REFERENCE_ABSTAIN ou RUNTIME_ABSTAIN, au lieu de classer l’unité comme non détectée.

Scorer seulement les comparaisons admissibles

Pour une partition appariée, le signal combine une distance de distribution régionale et un écart moyen d’action. La statistique est normalisée par les constantes 0,20 et 0,35, puis comparée à un seuil z de 1,50. Les auteurs indiquent que ce seuil a été choisi avant l’exécution formelle dans une grille allant de 1,00 à 2,00, sans être réajusté sur le nul formel. Une direction est stable si 14 partitions sur 15 signalent ; la détection au niveau de l’unité demande que les deux directions soient stables.

La conséquence sémantique est importante : « non détecté » veut dire « comparaison soutenue, sans signal stable selon cette règle ». Cela ne veut pas dire « aucune preuve n’a été observée ». Les fautes à occupation nulle sont conservées dans une strate séparée, plutôt que déplacées artificiellement avant une transformation logarithmique.

Decompose : un registre de décision

Le protocole sépare l’étiquette d’exécution, la sécurité opérationnelle, la couverture descriptive et les hypothèses structurelles. Une exécution valide n’est pas un succès scientifique. Une borne de fausse admission n’est pas une garantie universelle de taux de fausse alarme. Une couverture descriptive ne devient pas automatiquement une affirmation sur toute une population.

Dans le nul, le protocole utilise des graines disjointes et des observations propres-courantes. L’unité d’échantillonnage principale est le composant physique distinct. La déclaration de sécurité est une borne supérieure exacte unilatérale à 95 % sur la fausse admission stable au niveau composant, avec une tolérance opérationnelle de 0,20. Les auteurs insistent sur le fait que cette valeur n’est ni un standard universel ni un taux nominal de 5 %.

Cette séparation rend les rapports plus honnêtes. Un taux de couverture élevé peut coexister avec une puissance faible ; une alarme de changement peut être correcte même lorsqu’aucune faute n’a été injectée ; une bonne exécution peut ne fournir aucune base pour estimer l’hypothèse qui intéressait l’équipe.

Refresh : le cycle de vie de la référence

Le troisième verbe concerne le changement de distribution. Une alarme indique que les données courantes ne ressemblent plus à la référence du détecteur. Elle ne prouve pas à elle seule une défaillance. Un régime propre mais nouveau peut être réellement différent et correctement signalé.

Le protocole traite donc l’alarme comme une demande d’invalidation et de recalcul de la carte de référence. Il faut conserver la version de la référence, les données ayant déclenché l’alarme et la nouvelle règle d’admission. Sans ce lien, une équipe peut continuer à comparer des traces courantes à une référence qui ne décrit plus le trafic réel, puis présenter le résultat comme une mesure stable.

Ce que cela change pour les benchmarks

Un benchmark de système fermé devrait publier le mécanisme qui génère chaque dénominateur : cas planifiés, cas admis par la référence, cas admis à l’exécution et cas scorés. Il devrait aussi préciser la variable d’exposition. Dans l’étude, la fraction de trafic affectée par une intervention est distinguée de la fraction géométrique de cellules modifiées. Deux fautes touchant le même nombre de cellules peuvent donc exposer des volumes de trafic différents.

La publication devrait enfin afficher les refus. Les cas retirés avant le score sont une information sur les limites de la mesure, pas un bruit administratif. Les afficher permet de comparer une amélioration réelle du système avec une simple modification de l’admissibilité.

Limites et statut de la source

Le protocole est démontré sur une étude de cas simulée, avec des seuils, des partitions et des familles de fautes définis pour cette expérience. Il n’établit pas qu’une règle de support de 12 ou 14 partitions convienne à tous les systèmes. Les auteurs précisent aussi que leur approche opérationnalise un support fini pour une évaluation de traces agrégées ; elle ne prouve pas la diagnosabilité générale d’un système.

Le document est un preprint ArXiv et n’est pas nécessairement évalué par les pairs. Il fournit une méthode de lecture des claims et des dénominateurs, pas une certification indépendante d’un produit d’IA.

Une mise en œuvre pratique devrait donc conserver les états intermédiaires, y compris les abstentions, dans un journal consultable. Les tableaux de synthèse peuvent ensuite agréger les résultats, mais sans effacer la règle qui a conduit chaque unité vers REFERENCE_ABSTAIN, RUNTIME_ABSTAIN, DETECTED ou NOT_DETECTED. Cette traçabilité rend possible une revue après changement de trafic et évite qu’une nouvelle référence transforme rétroactivement une ancienne absence de support en succès.

Sources

Peiying Zhu et Sidi Chang, « Refuse, Decompose, Refresh: A Claim-Safe Protocol for Closed-Loop AI Evaluation », ArXiv 2609.20538v1 : preprint, PDF.