Article · IA & agents
Évaluer la qualité des images scientifiques avec un RAG multimodal
Un système de retrieval-augmented generation combine sémantique textuelle et détails visuels locaux pour évaluer des figures scientifiques.
Le problème : une image scientifique n'est pas qu'une image nette
Une figure scientifique peut être lisible tout en étant fausse, incomplète ou incohérente. Le preprint étudie donc l'évaluation de deux dimensions : la compréhension de ce que montre l'image et sa qualité perceptuelle et scientifique. Il traite les deux pistes du challenge SIQA : SIQA-U, orientée questions-réponses, et SIQA-S, orientée notation continue.
Une mémoire de références à deux niveaux
Le système construit un index multimodal. Un index textuel encode la classe, la catégorie et la question avec text-embedding-3-large, puis stocke les vecteurs dans Qdrant avec les réponses et explications disponibles. En parallèle, ColPali produit des représentations par patch de 128 dimensions, environ 1 000 vecteurs par image, afin de conserver des détails comme les légendes, axes et barres d'échelle.
Le filtrage commence par le domaine scientifique. Pour les questions yes/no et what, le système fusionne une recherche sémantique et une recherche visuelle guidée par le texte. Pour les questions how, il ajoute une recherche image-vers-image, pondérée davantage, puis applique une fusion RRF et conserve cinq références. La piste SIQA-S repose uniquement sur les références visuelles et leurs deux scores. GPT-5.4 reçoit enfin les exemples récupérés et l'image à évaluer, avec une température nulle.
Résultats rapportés par les auteurs
Sur SIQA-U, l'équipe DB_Team arrive première avec un score final de 51,88 %. Les scores sont de 53,95 % pour yes/no, 78,86 % pour what et 34,87 % pour how, contre 42,79 % pour la baseline officielle. Sur SIQA-S, elle se classe sixième avec 87,90 ; les corrélations SRCC/PLCC sont de 0,8352/0,8647 pour la perception et 0,9097/0,9065 pour la connaissance. La première place de SIQA-S atteint 92,99.
La lecture la plus intéressante n'est pas que le modèle « voit » mieux en général. C'est que les références récupérées servent d'ancres : elles donnent au modèle des exemples de défauts, de niveaux de qualité et de tensions entre apparence visuelle et exactitude scientifique. Les cas qualitatifs incluent notamment des images nettes mais scientifiquement incohérentes, ainsi que des conflits discrets entre repères visuels et libellés.
Ce que cela change pour un pipeline d'évaluation
Pour auditer des figures produites par un agent, séparer perception et connaissance évite de réduire la qualité à une seule note. Une architecture de retrieval peut aussi rendre les critères plus explicites : les références, leurs scores et leurs explications sont inspectables avant de discuter la sortie du modèle. En revanche, l'indexation par domaine et par type de question montre qu'un évaluateur générique risque de mélanger des critères qui ne sont pas comparables.
Limites
Les résultats sont ceux d'un challenge et d'un jeu de données précis, avec des règles de séparation et de filtrage propres à SIQA. Le système utilise plusieurs composants lourds — ColPali, Qdrant et GPT-5.4 — et les expériences sont rapportées sur un serveur équipé d'une seule RTX 4090 ; la reproductibilité opérationnelle et le coût à plus grande échelle restent à établir. Enfin, la sixième place sur SIQA-S, l'absence de labels de test pour l'analyse qualitative et l'écart de structure des options how entre entraînement et évaluation invitent à ne pas généraliser ces scores à toute image scientifique ou à tout modèle multimodal.
Source
Résultats et limites d'interprétation à partir du fulltext local, ArXiv 2609.19634v1 : résumé et preprint, PDF.