Le prix de l'interprétabilité dans l'inférence textuelle

Remplacer le texte par une structure inspectable

Le papier Can We Do Interpretable NLI with Graphs Based on Atomic Propositions? étudie l'inférence textuelle : décider si une hypothèse est impliquée, neutre ou contradictoire par rapport à une prémisse. Les auteurs veulent que le classifieur ne lise pas directement le texte au moment de décider, mais une représentation intermédiaire qui puisse être auditée.

Résultats rapportés

La chaîne décompose les phrases en propositions atomiques, les convertit en triplets ConceptNet sous schéma JSON contraint, ajoute un sous-graphe récupéré, puis sérialise les trois graphes pour un modèle de 0,8 milliard de paramètres. Sur SNLI, elle atteint 89,7 % d'accuracy, soit 1,9 point de moins qu'un modèle texte entraîné de façon comparable. Sur ANLI, elle atteint 48,0 % contre 48,9 % sur R2 et 44,9 % contre 44,4 % sur R3, mais reste en retrait sur R1 ; l'écart global annoncé est de 9 à 14 points. Ajouter 600 000 paires de données n'apporte que 0,6 point sur ANLI, tandis que la combinaison texte + graphe atteint 92,1 % sur SNLI.

Interprétation éditoriale

Le résultat illustre un compromis concret : une représentation plus explicable peut perdre de l'information linguistique fine. Dans un système de vérification, cette perte peut être acceptable si chaque verdict doit être relié à des faits et relations visibles, mais elle doit être mesurée séparément selon le type de cas traité.

Limites

Les scores dépendent de SNLI et ANLI, de l'atomiseur, du vocabulaire de 28 relations et de la sérialisation des graphes. Le papier ne démontre pas que tous les verdicts sont fidèles à une preuve humaine, ni que le même compromis se maintient sur des domaines spécialisés ou multilingues.

Sources

Résultats des auteurs : résumé ArXiv · PDF. L'interprétation sur les usages de vérification est éditoriale.