Quand un embedding confond conversion et proximité sémantique

Un test plus strict que la similarité

Les embeddings sont souvent utilisés comme des espaces de proximité : deux textes proches devraient produire des vecteurs proches. Le preprint de Juri Opitz et Andrianos Michail examine cette intuition avec un cas où la relation à préserver est particulièrement claire : les mesures physiques. « 1 mètre » et « 100 centimètres » désignent la même quantité, tandis que « 15 kilomètres » est plus éloigné de « 1 mètre » que « 105 centimètres ».

Ce que les auteurs testent

Les auteurs évaluent 24 modèles d’embeddings sur des expressions de masse, de distance, de temps et de volume. Ils comparent les proximités observées dans l’espace vectoriel à la structure attendue d’une mesure physique. Ils testent aussi la compréhension de conversions et construisent un petit benchmark dédié.

Le résultat rapporté est peu flatteur : l’alignement avec les relations physiques est faible et les motifs observés sont parfois irréguliers. Le document indique que les artefacts apparaissent à travers les modèles testés, sans dépendre clairement de l’architecture, de la date de sortie ou de la dimension annoncée.

Le rôle de la forme du texte

L’analyse relie une partie du comportement à la similarité de surface des chaînes. Des expressions qui partagent des caractères ou une forme textuelle peuvent être rapprochées même lorsque leur relation numérique n’est pas la bonne. Une simple recalibration des scores n’améliore pas substantiellement l’alignement dans les expériences rapportées.

Cette observation ne signifie pas que les embeddings sont inutiles. Elle rappelle plutôt qu’une proximité vectorielle est une propriété apprise pour une distribution de textes et une fonction d’objectif données. Elle ne devient pas automatiquement une distance physique, une unité de mesure ou une preuve de raisonnement numérique.

Conséquence pour un système RAG

Une équipe qui indexe des prix, des versions, des tailles ou des seuils devrait tester explicitement ces relations. Les requêtes de contrôle peuvent inclure des conversions équivalentes, des valeurs proches, des valeurs éloignées et des variantes de formatage. Il faut mesurer le classement obtenu, mais aussi vérifier la valeur effectivement présente dans le passage récupéré.

Ce contrôle doit rester séparé de la génération. Un bon voisinage sémantique ne garantit ni la présence de la bonne unité dans le contexte, ni la fidélité de la réponse finale. Un pipeline robuste conserve donc des cas négatifs, des unités différentes et des exemples où l’information est absente.

Limites

Le papier est un preprint et son protocole porte sur un sous-ensemble de modèles et de formulations. Les résultats ne permettent pas de conclure que toutes les tâches de recherche échouent, ni qu’une autre représentation résoudrait automatiquement la conversion. Les effets dépendent aussi du tokenizer, du texte d’entrée et de la métrique de similarité.

Sources

Juri Opitz et Andrianos Michail, « Embedding Models Measure in Peculiar Ways », ArXiv 2609.20821v1, consulté le 22 septembre 2026 : résumé et preprint, PDF.