Découper un corpus RAG autour des entités utiles

Le chunk est un choix de retrieval

Dans un pipeline RAG, on parle souvent du modèle d’embeddings ou du générateur avant de regarder la découpe du corpus. Pourtant, la frontière des unités récupérables détermine ce que le retriever peut réellement présenter. Le preprint EAR: Entity-Aware Partitioning Approach for Retrieval-Augmented Generation Development teste une alternative aux chunks uniformes pour des questions à choix multiple.

EAR extrait des ancres de surface dans la question, les réponses et le corpus. Il indexe ensuite des fenêtres locales autour des ancres correspondantes. Une variante parent-expanded ajoute le passage parent et un petit résumé extractif lorsque le contexte local ne suffit pas.

Une règle auditable

L’« entité » d’EAR n’est pas la sortie d’un système général de reconnaissance d’entités. C’est une ancre textuelle normalisée : année, groupe capitalisé, expression d’événement ou option courte. La normalisation traite la casse, la ponctuation, les nombres et certains suffixes de domaine.

Les pages sont d’abord nettoyées et découpées en parents de 260 mots avec 60 mots de recouvrement. Une fenêtre enfant va jusqu’à 80 mots de chaque côté de l’ancre. Les fenêtres sont classées par correspondance d’ancres, chevauchement lexical et correspondance de date, puis dédupliquées. Cette explicabilité permet d’inspecter pourquoi un passage a été récupéré.

Ce que rapportent les auteurs

L’évaluation porte sur 153 questions soutenues par le corpus, issues d’un protocole de type MMLU et de quatre fichiers de manuels scolaires nettoyés. Le corpus final comprend 1108 pages, dont 772 avec du texte narratif, 3955 blocs conservés et 4429 blocs supprimés.

À top-3 et top-8, les fenêtres EAR réduisent le nombre de mots récupérés de 37,5 à 40,2 % par rapport aux chunks. Les variations d’exactitude vont de +5,2 à -3,9 points au top-3 et de +5,9 à -4,6 au top-8 selon le modèle. Aucune différence de fenêtre n’est statistiquement significative dans le protocole. L’étude trouve un ancrage exact pour 151 des 153 questions, mais cette couverture est opérationnelle, pas une mesure de précision d’un NER.

Lecture éditoriale

EAR suggère de traiter le découpage comme une hypothèse testable. Une équipe peut conserver le lien entre une ancre de question, une ancre de corpus et le passage retourné. En cas d’erreur, elle peut distinguer l’échec de l’extraction, du matching, du classement ou de la génération.

La réduction de contexte est intéressante pour le coût et l’inspection, mais elle ne doit pas être confondue avec une amélioration garantie de la réponse. Un passage compact peut supprimer une qualification importante. Une stratégie prudente compare donc fenêtres, parent-expanded et chunks sur des exemples difficiles, avec un test de non-régression du contexte manquant.

Limites à garder

Le corpus, la langue, les règles d’ancre et la sélection automatique des questions limitent la portée. Les auteurs demandent eux-mêmes une validation séparée avant transfert à un autre domaine. Le résultat ne justifie pas de remplacer tous les chunks fixes par des fenêtres d’entités.

Source et périmètre

Source principale : arXiv:2609.12268v1 · PDF. Les mesures et limites viennent du preprint ; la méthode de validation proposée est une interprétation éditoriale.