Lire TF-IDF et BM25 comme des divergences d’information

Un score classique sous un autre angle

TF-IDF et BM25 utilisent la fréquence des termes, la rareté dans le corpus et la longueur des documents. On les apprend souvent comme des recettes de recherche. Le preprint TF-IDF and BM25 Are Exact KL Divergences propose une lecture probabiliste unifiée : les deux scores peuvent être écrits exactement comme des divergences de Kullback-Leibler entre des modèles construits pour décrire la présence de mots-clés.

Cette reformulation ne change pas automatiquement un moteur existant. Elle clarifie plutôt ce que le score mesure : l’écart entre une hypothèse sur la rareté d’un terme et une distribution de référence. Une requête composée de termes rares qui apparaissent dans un document produit alors un signal de pertinence plus marqué.

Les variables du cadre

Pour TF-IDF, les auteurs définissent un index de document, un token, un événement indiquant qu’un token est considéré comme clé et un événement représentant sa fréquence dans le corpus. La probabilité conditionnelle associée au document reproduit la fréquence du terme ; la probabilité de référence utilise sa fréquence documentaire. La divergence conditionnelle obtenue correspond au produit TF × IDF.

Pour BM25, le même cadre ajoute la saturation de la fréquence et une normalisation de longueur. La variante étudiée est celle qui contient la correction +1 dans l’IDF, courante dans des implémentations pratiques. Les paramètres k₁ et b apparaissent dans le modèle probabiliste par l’intermédiaire d’un modèle auxiliaire. La version historique sans correction est discutée séparément comme une différence entre deux divergences.

Ce que rapportent les auteurs

Le résultat principal est une dérivation exacte, pas une nouvelle mesure évaluée sur un benchmark de classement. Le papier montre aussi qu’une requête peut être interprétée comme une distribution de tokens : le score du document devient alors une somme pondérée des contributions TF-IDF ou BM25. Les auteurs soulignent que les notions de « mot-clé », de « mot courant » et de document « verbeux » restent des interprétations choisies pour donner un sens aux variables probabilistes.

Lecture éditoriale

Cette lecture est utile pour expliquer pourquoi BM25 reste un bon premier étage dans un système RAG. Le score récompense un recouvrement informatif, tout en limitant l’effet d’un terme répété sans fin et en tenant compte de la longueur du document. Elle aide aussi à distinguer le mécanisme du score et la décision produit : une interprétation élégante ne prouve pas qu’un réglage donné sera meilleur sur un corpus spécialisé.

Lors d’un audit, on peut demander quelle distribution de termes le moteur suppose, comment sont traitées les longueurs atypiques et si l’IDF utilisée correspond à la variante annoncée. Pour comparer BM25 à des embeddings, il faut ensuite mesurer le rappel, le rang et les cas d’échec ; la divergence ne remplace pas cette évaluation.

Limites à garder

Les événements probabilistes du cadre sont en partie construits pour obtenir l’identité mathématique. Le preprint ne démontre pas que cette interprétation rend TF-IDF ou BM25 universellement supérieurs. Elle ne traite pas directement la synonymie, l’ordre des mots, les langues morphologiquement riches ou la pertinence sémantique au-delà des tokens.

Source et périmètre

Source principale : arXiv:2609.14016v1 · PDF. La dérivation et ses réserves sont attribuées au preprint ; les usages proposés relèvent de la lecture éditoriale.