Vibarche

Article · SaaS & dev

Recherche appliquée au produit et à l'organisation

Sept travaux sur la recherche composable, la couverture de preuves, les objectifs concurrents et les effets croisés qui annulent l'effort interne.

Publié
Lecture14 min de lecture
CatégorieSaaS & dev
Sujetsrecherche d'informationagentsorganisationsaasarxiv

Ce dossier rassemble sept prépublications qui partagent un même angle mort. Toutes décrivent un système où un effort mesurable ne se transforme pas automatiquement en valeur : une requête bien classée qui ne suffit pas à décider, un score global qui dissout les priorités, un budget de tokens qui ne va pas là où on le croit, un mécanisme interne dont les effets s'annulent. La question commune n'est pas de produire plus, mais de savoir ce que la production réelle contient.

Quatre des travaux portent sur la recherche et la récupération d'information : comment la rendre composable, comment vérifier qu'un ensemble de preuves est suffisant, comment arbitrer entre approximation rapide et garantie sur les premiers rangs, et comment faire cohabiter des objectifs qui se contredisent. Les trois autres déplacent la même logique vers l'organisation et l'économie du produit : la répartition entre planification et exécution dans un agent de code, les effets croisés non tarifés à l'intérieur d'une entreprise, et le rôle d'une information gratuite dans la vente de la suivante.

Le lecteur en retire surtout une discipline de mesure. Chaque papier sépare ce que les auteurs ont observé de ce qu'on peut en déduire pour un produit, et plusieurs insistent sur des distinctions faciles à perdre : l'ordre des opérations, la différence entre pertinence et suffisance, l'écart entre une heuristique rapide et une variante certifiée, l'écart entre un gain de revenu et un gain d'utilité. Les chiffres cités ci-dessous sont ceux des sources ; les recommandations de méthode sont signalées comme lectures éditoriales.

Algebraic Retrieval : une recherche composable et inspectable

Une interface de recherche exposée à un agent prend souvent la forme d'un appel unique avec une requête et quelques paramètres. Cette surface devient étroite dès qu'il faut privilégier une intention, en atténuer une autre, filtrer les candidats et conserver une préférence de classement. Le preprint Algebraic Retrieval: Composable Search for Agents représente ces choix comme une expression que l'agent compose, inspecte, puis révise.

Le cadre conserve ensemble les scores et les identifiants de documents. Une opération arithmétique modifie les scores, un masque restreint les identifiants admissibles, une pondération applique une préférence par document, et un opérateur top-k sélectionne le résultat. Les expressions s'appuient sur des vecteurs de requête et une matrice d'embeddings : on peut favoriser une direction en retirant une fraction de la similarité avec une seconde, ou limiter le calcul aux candidats d'un premier passage BM25. L'ordre compte, et le papier insiste sur la différence entre restreindre les candidats avant le scoring et soustraire deux listes déjà tronquées.

Les auteurs comparent trois expressions à des équivalents SQL et PyTerrier sur la collection Vaswani de 11 429 documents. Les implémentations sélectionnent le même ensemble de documents et les écarts de scores restent inférieurs à 10-6. Une paire à égalité est ordonnée différemment selon le chemin de calcul, avec un écart d'environ 5,96 × 10-8 dans le chemin SQL.

Lecture éditoriale : la valeur principale est la lisibilité du contrat, puisque le masque, la pondération et la règle d'égalité deviennent testables avant de transmettre le contexte à un générateur. La limite est explicite dans la source. Le papier ne mesure ni l'efficacité comparative des résultats, ni le rappel d'un index approximatif, ni la capacité d'un agent à écrire de bonnes expressions. La collection et les vecteurs sont contrôlés pour la reproductibilité.

Récupérer ce qui manque encore au contexte d'un coding agent

Un agent de code a déjà observé une partie du dépôt quand il doit prendre sa décision suivante. Un récupérateur qui classe les passages par similarité peut remplir la fenêtre avec plusieurs variantes d'un même fait et laisser de côté une information nécessaire. « The Missing Complement » reformule donc la tâche : récupérer l'ensemble minimal de preuves que l'état courant ne contient pas encore. Les auteurs nomment ce problème state-conditioned minimal sufficient evidence recovery, et la cible dépend de la trajectoire de l'agent autant que des faits requis par la prochaine décision.

SERBench évalue 500 états issus de 45 dépôts. Le benchmark conserve ce que l'agent a vu et ne crédite que les ensembles couvrant tous les faits annotés comme nécessaires. MSS-Complement part d'un petit ensemble, cherche ce qui lui manque, et renvoie 4 à 8 unités intactes dans un budget de 6 144 tokens. La méthode ne construit pas une liste de passages individuellement plausibles mais un ensemble qui doit être suffisant.

À cinq éléments, une configuration récupère un ensemble complet pour 73,0 % des états ; à huit éléments, le taux atteint 80,6 %. Le reranking par embedding Qwen3 atteint respectivement 61,4 % et 72,4 %, et un contrôle par similarité atteint 66,6 % à cinq éléments. Sur AMA-Bench, le prompt de réponse est réduit de 76,2 % et la précision dépasse de 2,08 points celle de l'agent mémoire de référence. Enlever un groupe requis d'un ensemble complet réduit la précision de localisation de réparation de 12,3 et 11,1 points selon l'exécuteur.

Les résultats dépendent des annotations de suffisance, des dépôts et des exécuteurs évalués. Une décision mal spécifiée peut rendre la couverture trompeusement complète.

Swing : approximation utile ou Top-K certifié, il faut choisir

Swing exploite un graphe d'interactions entre utilisateurs et éléments pour trouver des éléments proches. Le calcul mobilise des voisinages et des intersections dont le coût varie fortement selon les degrés. Le papier propose ASC, qui choisit entre deux estimateurs selon un modèle analytique de coût, en partant du principe qu'aucun échantillonnage unique n'est optimal partout : les approches sont complémentaires entre éléments peu et très connectés.

K-ASC cible directement les premiers rangs. Une première approximation produit un ensemble prometteur, puis un affinage réduit l'incertitude sur les éléments utiles au Top-K. Les auteurs rapportent qu'obtenir une liste légèrement plus large contenant presque tous les bons candidats peut coûter moins cher qu'estimer immédiatement avec précision les K premiers. Ce filtrage n'est pas une preuve que l'ordre final est exact.

C'est la distinction centrale du papier, et elle sépare trois contrats de sortie. Une approximation de score décrit une erreur sous certaines conditions. Une précision empirique décrit ce qui a été observé sur les essais. Une certification des premiers rangs exige de séparer suffisamment les bornes des candidats à la frontière. La section officielle compare K-ASC, heuristique, à C-KASC, qui certifie le Top-K par séparation de bornes de confiance et consomme davantage d'échantillons. Les auteurs retiennent l'heuristique comme solution principale de compromis. Il serait incorrect de reprendre la meilleure vitesse de l'heuristique et la garantie de la variante certifiée comme si elles appartenaient à une seule configuration.

Le papier rapporte de fortes accélérations sur certains jeux, notamment face au calcul exact, mais ces rapports dépendent du graphe, de K, de la qualité demandée et de la méthode de référence. L'annexe officielle décrit une répartition possible des voisinages entre travailleurs et précise que les expériences sont effectuées sur un seul nœud. Lecture éditoriale : un essai propre conserve le même graphe, rapporte construction et mémoire des structures auxiliaires, puis mesure qualité et temps par classe de degré.

Faire cohabiter plusieurs objectifs dans une politique générative

Une plateforme de recherche doit équilibrer pertinence, probabilité de clic et valeur commerciale. Kun Yao, Yuhang Zhou, Yichi Zhang et leurs coauteurs examinent ce qui se passe quand ces objectifs concurrents se fondent dans une seule politique générative : le score global devient impossible à auditer et les priorités disparaissent dans l'agrégation.

UniPolicy découple les politiques au lieu de les fusionner. Le dispositif associe des tokens de préfixe propres à chaque objectif, un routage sparse MoE-LoRA et des FFN résiduels spécialisés. Le backbone reste partagé, mais l'espace des paramètres et celui de l'expression de la politique sont partiellement différenciés. Les préférences sont construites à partir de signaux multi-étapes : clic, exposition et absence de clic. À l'inférence, plusieurs recherches beam peuvent fonctionner en parallèle, avec une allocation de quotas sous budget de retrieval fixe, ce qui rend le compromis explicite et ajustable.

Le résumé rapporte, dans un test A/B en ligne de sept jours, une hausse de 0,71 % du CTR, de 1,58 % du RPS et de 1,32 % du revenu publicitaire, avec une latence stable. Les expériences hors ligne dépassent des baselines à objectif unique et de fusion naïve des récompenses.

Lecture éditoriale : pour un agent métier, mieux vaut garder des politiques ou des modes explicitement nommés, chaque action exposant son objectif prioritaire, les objectifs protégés et le budget consommé ; le réglage peut alors être revu sans réentraîner tout le système. Les limites sont celles du dispositif de mesure. Les chiffres en ligne dépendent d'un système publicitaire réel et d'une fenêtre de sept jours, et un gain commercial ne mesure pas à lui seul la qualité utilisateur ou l'équité. Le document est un preprint ArXiv.

Agents de code : l'organisation du raisonnement fait la valeur

La capacité d'un modèle ne détermine pas seule la valeur d'une inférence. Yukun Zhang, Kemu Xu et Yishen Chen étudient comment l'information disponible et la répartition entre planification et exécution modifient le résultat sur des tâches de génie logiciel vérifiées extérieurement.

Les expériences opposent l'exécution directe à une planification soumise à des contraintes d'information et de budget logique. Une campagne en lecture seule fait aussi varier l'accès du planificateur à l'issue du ticket. La conception conserve les plafonds de ressources, de façon à séparer le volume disponible de la manière dont il est employé.

Dans les panels de ressources, l'exécution directe garde 59,6 % de réussite aux plafonds de 12 000 et 24 000 tokens. La planification limitée par l'information passe de 36,2 % à 51,2 %, et l'accès à l'issue augmente la réussite d'environ 16 points à 12 000 tokens. À 24 000 tokens, la planification informée présente un avantage annoncé de 29,6 points sur l'exécution directe. Les auteurs rapportent aussi que l'exécution aval représente 89,9 % de l'augmentation de consommation totale dans le workflow de planification.

Lecture éditoriale : un agent de code devrait enregistrer le contexte reçu par le planificateur, son budget, les actions déléguées et les tests exécutés. Une amélioration attribuée au modèle peut en réalité venir d'une information supplémentaire ou d'un budget de vérification, et la comparaison doit isoler ces facteurs. Les conclusions reposent sur des tâches, des modèles et des campagnes déterminés ; un workflow différent peut redistribuer les coûts et les gains. Le document est un preprint ArXiv. Les travaux voisins sur l'architecture et les outils des agents sont regroupés dans le dossier agents, architecture et outils.

Quand une amélioration annule une autre dans l'organisation

Une organisation peut investir dans ses processus, sa gouvernance ou ses outils sans observer d'amélioration nette. L'explication habituelle invoque les incitations, l'information ou les capacités managériales. Jan van de Poll avance une autre possibilité : des mécanismes internes produisent simultanément des effets positifs et négatifs sur plusieurs objectifs, sans que ces effets croisés soient mesurés ou tarifés.

Dans ce cadre, les politiques, routines, choix d'architecture et règles de gouvernance sont des primitives. Chacune exerce des effets signés sur plusieurs indicateurs, par exemple la vitesse, la fiabilité, la qualité, l'innovation ou les résultats financiers. Une règle de conformité peut réduire le risque et ralentir l'expérimentation ; une standardisation peut améliorer un service et augmenter la coordination nécessaire ailleurs. Le papier distingue l'effet net du conflit interne : un mécanisme peut être très actif et produire peu de résultat global si ses effets se compensent. Le conflit mesure la fraction de la magnitude perdue dans cette annulation, ce qui en fait une propriété structurelle et non une impression de terrain.

Le modèle relie l'effort, la magnitude d'un mécanisme et le conflit. Quand le conflit est élevé, accroître l'effort augmente peu le résultat et peut renforcer la cancellation. Une optimisation allocative, qui déplace les budgets vers les mécanismes apparemment les plus prometteurs, ne corrige pas un effet croisé non traité. La séquence proposée est donc structurelle : nettoyer ou simplifier les mécanismes conflictuels, puis réallouer l'effort, puis optimiser.

Lecture éditoriale : avant d'ajouter une règle, une équipe peut dresser une matrice des effets attendus par objectif, pour rendre visibles les effets opposés et garder les décisions réversibles. Le papier propose un cadre théorique et des prédictions testables, pas une mesure universelle du conflit. Les effets doivent être définis et observés dans un contexte précis, et l'externalité interne ne démontre pas que les incitations ou l'information sont sans importance.

Freemium : donner une information pour vendre la suivante

Un produit freemium donne accès à des fonctions de base et réserve les capacités avancées au paiement. Pour l'information, la version gratuite peut être un fait, un signal ou une prévision qui modifie ce que l'acheteur sait avant qu'on lui propose un contenu payant.

Milchtaich modélise cette séquence avec un vendeur d'information et un acheteur. Le vendeur ne cherche pas à influencer l'action finale de l'acheteur ; il maximise seulement le revenu de la vente d'information. L'acheteur part d'une croyance sur l'état du monde, reçoit un signal gratuit, puis peut acheter un signal supplémentaire. La distribution du signal dépend de l'état réel, et par la règle de Bayes le signal gratuit déplace la croyance ; le signal payant est ensuite évalué selon le gain d'utilité attendu entre les deux postérieurs. Le vendeur choisit donc le premier signal pour sa capacité à créer une disposition à payer pour le second. Le papier caractérise les signaux gratuits et payants optimaux et donne une formule du revenu maximal en fonction de la fonction d'utilité de l'acheteur.

L'effet social est ambigu. Tout gain du vendeur issu de l'information gratuite s'accompagne d'une perte directe au moins aussi grande pour l'acheteur dans le cadre étudié. La forme de l'utilité est décisive : dans le cas à deux états, les fonctions permettant un gain du vendeur sont caractérisées, et pour une utilité convexe le vendeur ne peut pas profiter de la gratuité, ce qui inclut le cas où l'acheteur utilise l'information pour résoudre un problème de décision. Une interaction stratégique avec un tiers peut en revanche ouvrir une possibilité de gain.

Lecture éditoriale : la valeur d'une information gratuite pour l'utilisateur se mesure séparément du taux de conversion, et la transparence sur ce que le signal gratuit ne permet pas de savoir compte autant que la démonstration de valeur. Le résultat repose sur un modèle de signaux et des fonctions d'utilité particulières ; il ne dit pas qu'une offre gratuite est toujours nuisible dans un marché réel et ne mesure aucun produit commercial.

Ce qui se recoupe entre ces travaux

Le fil le plus net est le refus d'un indicateur unique. Algebraic Retrieval décompose un appel de recherche en opérations visibles plutôt qu'en un score opaque. MSS-Complement remplace le classement par pertinence par une condition de couverture. UniPolicy sépare des politiques au lieu de fusionner des récompenses concurrentes. Les externalités internes mesurent la part de magnitude perdue dans l'annulation, que l'effet net cache par construction. Quatre domaines différents, une même conclusion méthodologique : un agrégat qui se laisse optimiser facilement masque souvent ce qu'on voulait améliorer.

Deuxième recoupement, l'ordre et la position des opérations changent le résultat. Algebraic Retrieval montre que restreindre les candidats avant le scoring n'est pas la même chose que soustraire deux listes tronquées. Le papier sur l'organisation de l'inférence montre que la même quantité de tokens ne produit pas la même réussite selon qu'elle alimente une exécution directe ou une planification informée, et que l'exécution aval absorbe 89,9 % de l'augmentation de consommation. Van de Poll fait de la séquence un résultat à part entière : simplifier d'abord, réallouer ensuite, optimiser en dernier. Dans les trois cas, la structure précède le volume.

Troisième point commun, les sources prennent soin de nommer ce qu'elles ne garantissent pas. Swing distingue approximation de score, précision empirique et certification des premiers rangs, et précise que l'heuristique retenue ne porte pas la garantie de la variante certifiée. Algebraic Retrieval parle de parité d'exécution sur un fixture, pas de gain de qualité de recherche. UniPolicy rappelle qu'un gain commercial ne mesure pas la qualité utilisateur. Le modèle freemium est explicite sur l'écart entre revenu privé et bénéfice social.

C'est aussi là que les travaux se tendent. UniPolicy obtient des hausses de CTR, de RPS et de revenu publicitaire sur sept jours, et traite ces objectifs comme légitimement coexistants. Le modèle freemium décrit au contraire un mécanisme où le gain du vendeur se paie d'une perte au moins équivalente pour l'acheteur. Rien dans ces sources ne permet de dire si un dispositif de recherche multi-objectifs tombe du côté de la coexistence ou du transfert : les cadres de mesure ne sont pas comparables, et on ne sait pas.

Reste ouvert ce qu'aucun des sept ne traite. Personne ne mesure la capacité d'un agent à écrire lui-même de bonnes expressions de recherche, à juger la suffisance d'un dossier de preuves sans annotation humaine, ou à estimer le conflit interne d'une organisation sans spécification préalable des objectifs. Les limites de gouvernance et de coût relèvent partout de l'interprétation éditoriale, non des résultats. Les prolongements sur la récupération d'information figurent dans le dossier RAG et recherche d'information, et ceux sur le classement et la personnalisation dans recommandation et personnalisation.

Sources