Robotique, perception et transfert du simulateur au réel

Ce dossier rassemble quatorze preprints qui partagent un même point de friction : entre ce qu'un robot perçoit et ce qu'il fait, il reste toujours une couche de traduction, et c'est là que les systèmes cassent. Certains travaux attaquent la perception elle-même, en cherchant à détecter de petits objets, à retrouver l'articulation d'une pièce mobile ou à estimer une force de contact sans capteur. D'autres portent sur la boucle de contrôle : combien d'actions exécuter avant de regarder à nouveau, quelle mémoire conserver, comment chercher une trajectoire que le gradient seul ne trouve pas. Les derniers s'intéressent au passage du simulateur à la machine physique, dans la manipulation comme dans la conduite.

Ces articles se lisent ensemble parce qu'ils reviennent sur les mêmes arbitrages avec des vocabulaires différents. La fréquence d'observation, la représentation intermédiaire entre perception et commande, le rôle laissé au modèle face à un vérificateur externe, le coût d'une interaction simulée : chaque équipe tranche à sa manière, et les désaccords sont instructifs. Plusieurs d'entre eux rapportent un transfert réel réussi sur un protocole étroit, ce qui pose directement la question de ce que mesure un tel succès.

Le lecteur en retire une carte des méthodes actuelles, les chiffres que leurs auteurs revendiquent, et surtout les limites que ces auteurs signalent eux-mêmes. Aucun de ces documents n'est une validation par les pairs. Les sections ci-dessous séparent ce que les équipes ont mesuré de ce qui relève d'une lecture éditoriale, parce que la confusion entre les deux est le principal risque de ce genre de synthèse.

Détecter ce qui n'occupe que quelques pixels

Dans une image prise par drone, une personne ou un vélo peut n'occuper qu'une poignée de pixels. Les réductions de résolution effacent alors contours et textures, alors que le contexte global reste nécessaire pour séparer l'objet du décor. Les deux besoins tirent en sens inverse.

Hao Wang propose YOLO12-MambaScan, une variante de YOLO12 qui empile plusieurs mécanismes dédiés à cette tension. RFCAConv apporte une attention de champ réceptif, TriPathHFConv ouvre trois chemins de détails, un bloc Mamba fournit le contexte global, GSPN SCSA fusionne l'information spatiale et de canaux, et STEL ajoute une branche de prédiction P2/4 réservée aux très petits objets. L'idée directrice est de préserver l'information fine avant de demander au réseau de la résumer.

Sur VisDrone, à une résolution d'entrée de 960 × 960, le modèle annonce 60,0 % de mAP@50 et 38,6 % de mAP@50:95. RFCAConv est présenté comme ajoutant environ 1,5 % de paramètres et 2,3 % de FLOPs dans les transitions concernées.

La séparation entre détails locaux et contexte global se transpose à d'autres pipelines visuels. Cette lecture éditoriale ne justifie pourtant pas d'adopter l'architecture sans mesurer le coût mémoire, la latence et la robustesse sur les images réellement visées. La source rappelle que le résultat vient d'un seul protocole et d'une seule proposition de modèle : il ne permet pas de comparer toutes les variantes YOLO ni tous les environnements embarqués, et les scores mAP ne décrivent ni la consommation en production ni la sûreté des décisions prises à partir des détections.

Retrouver les axes d'un objet articulé avec peu de vues

Pour manipuler un objet articulé, un agent doit savoir quelles pièces bougent et autour de quels axes. Une vue monoculaire partielle laisse cette géométrie ambiguë : les angles morts ne se devinent pas. Kevin Qu, Tao Sun, Massimiliano Viola, Liyuan Zhu, Zhizhuo Zhou, Sayan Deb Sarkar, Konrad Schindler et Iro Armeni proposent FAMOS pour exploiter plusieurs observations éparses au lieu d'une seule.

FAMOS prédit la segmentation des pièces mobiles et les paramètres des articulations à partir d'un ensemble non ordonné de nuages de points partiels. Le nombre d'entrées est variable, une seule vue comprise. Son Multi-state Articulation Transformer alterne une attention par état et une attention globale, de façon à raisonner sur plusieurs configurations du même objet. Un objectif d'observed articulation span supervise l'amplitude de mouvement effectivement visible dans les observations. Les auteurs ajoutent un générateur procédural d'objets annotés pour compenser la taille et la diversité limitées des jeux de données existants.

Sur PartNet-Mobility, ACD et ArtiCraft-10K, le résumé annonce des améliorations constantes face à des baselines feed-forward et à des méthodes d'optimisation. Aucune valeur chiffrée n'est donnée dans la source.

Un agent visuel gagnerait à distinguer ce qu'il voit dans une image de ce qu'il infère sur la structure cachée, et à conserver le droit d'attendre une observation supplémentaire plutôt que de trancher depuis une seule frame. Les auteurs signalent que les performances dépendent des objets, des capteurs et des générateurs utilisés, et qu'une amélioration sur données synthétiques ne garantit pas une perception robuste dans chaque scène réelle.

Une reconstruction 3D que des règles peuvent relire

Les représentations implicites reconstruisent une géométrie avec efficacité, mais elles restent difficiles à inspecter ou à réutiliser dans un workflow d'ingénierie. Le latent n'est pas un objet sur lequel on applique une contrainte métier. Qingde Li, Qingqi Hong, Zihan Li et Jie Tian présentent NeuSOGA3D, un framework qui conserve des objets géométriques explicites pendant la reconstruction au lieu de les dissoudre.

Le système projette un nuage de points non organisé sur des plans orthographiques, construit des représentations spline implicites, puis les fusionne avec des opérateurs de géométrie constructive. Une décomposition multi-axiale et des Partial Shape-Preserving Splines servent à récupérer les structures invisibles depuis les seules vues orthographiques. La chaîne produit des polygones de contrôle, des champs spline, des sections et des opérateurs traduisibles vers B-splines, NURBS ou B-Rep.

L'évaluation couvre les 40 catégories de ModelNet40. Le résumé rapporte des représentations géométriques structurelles, une abstraction symbolique réutilisable et une génération de formes prêtes pour la CAO.

Une représentation symbolique intermédiaire peut servir de contrat entre perception, raisonnement et action, à condition que chaque étape reste associée aux observations qui la justifient. Cette lecture a une contrepartie : une forme lisible n'est pas forcément correcte, et les contraintes géométriques comme métier restent à vérifier. Les auteurs précisent que les résultats sont évalués sur ModelNet40 et sur la représentation proposée, et que la compatibilité CAO annoncée ne remplace pas une validation d'ingénierie. Le document est un preprint ArXiv.

Estimer une force de contact à partir d'une vidéo

TouchSight prédit la force de contact dense d'une main à partir d'une vidéo monoculaire égocentrée, sans gant instrumenté à l'inférence. Le système s'appuie sur HumanTouch pour les mesures de gant, sur TwinTouch pour transférer l'apparence vers une main nue, et sur cinq datasets de manipulation pour la supervision géométrique du contact.

Le modèle organise les taxels par régions de doigts et de paume, puis combine une représentation visuelle géométrique, une modélisation temporelle et des pertes de force et de contact. Sur HumanTouch, la configuration complète rapporte une MAE de 1,639 et une corrélation temporelle de Pearson de 0,567. Sur TwinTouch, l'ajout des données d'apparence générée fait passer la MAE active de 12,077 à 10,026. Sur OakInk2, le système atteint une AUROC de 0,820 et un F1 de 0,373 pour le contact MANO binaire, avec une précision de 0,467. Les vidéos naturelles Ego-Exo4D, Ego4D et EgoDex ne servent qu'à une évaluation qualitative, faute de vérité terrain tactile mesurée.

Un agent de manipulation doit savoir si une sortie vient d'un capteur, d'une géométrie reconstruite ou d'une apparence synthétique : ces trois origines n'ont pas la même valeur de preuve. La corrélation temporelle et les métriques sur les taxels actifs informent davantage qu'une erreur moyenne dominée par les zones sans contact. Les auteurs rappellent qu'une partie de la supervision est générée ou dérivée de la géométrie, que le modèle prédit une force plausible et non une mesure certifiée, et que les performances varient avec la main, l'objet, l'occlusion et la caméra.

Récupérer une personne par texte avec des encodeurs gelés

Le retrieval de personne par description textuelle doit retrouver une image dans une galerie, alors que l'entraînement peut reposer sur des images synthétiques et l'évaluation sur des photographies réelles. Les cross-encodeurs sont précis mais coûteux : ils examinent chaque paire texte-image candidate.

SCOUT garde V-JEPA et l'encodeur texte gelés, et entraîne un prédicteur initialisé depuis Qwen3.5-0.8B avec une perte InfoNCE bidirectionnelle. Un score d'alignement sans entraînement classe trois encodeurs texte dans le même ordre que leur précision sur le split de validation, avec une corrélation de Spearman de 1,0. Un quatrième encodeur LLM montre que ce résultat dépend de la métrique employée. Une adaptation ExPLoRA et un reranker par attribut ajoutent ensemble 2,2 points de R@1. Sur AI City Challenge 2026 Track 4, le système complet annonce 84,25 mAP@10 contre 60,63 pour un modèle gelé seul, avec environ 95 heures-GPU pour les composants entraînés.

La stratégie d'ingénierie que suggère le papier est sobre : choisir d'abord une géométrie d'embedding compatible, puis réserver les composants coûteux au reranking d'une courte liste. Le score d'alignement peut servir de filtre expérimental, pas de garantie de transfert.

Une précision compte ici. Le résultat complet inclut un membre cross-encodeur CMP dans la fusion, et il serait faux de présenter SCOUT comme un système qui aurait entièrement supprimé ce coût. Les corrélations changent selon la métrique, le domaine est celui de la personne-texte, et un protocole de challenge ne remplace pas une évaluation sur tous les catalogues.

Vision et toucher ne changent pas au même rythme

Dans une manipulation précise, deux signaux évoluent à des vitesses différentes. Les images successives peuvent rester presque identiques alors qu'un contact provoque un changement tactile brutal. Hanchu Zhou, Brendan Lynch, Raman Goyal, Dechen Gao, Begum Kasap, Boqi Zhao et Junshan Zhang construisent Agile-WAM autour de cet écart.

Agile-WAM encode les observations visuelles et tactiles dans un latent partagé. Un processus de Flow Matching produit des actions et prédit de futurs latents. La supervision est multi-horizon : la vision est prédite à un horizon plus éloigné, tandis que le tactile est prévu à la prochaine image pour conserver les détails du contact. L'architecture cherche à tenir ensemble une compréhension de la dynamique et une boucle de contrôle rapide. Le modèle ne produit pas seulement un mouvement, il anticipe l'état suivant.

Les auteurs évaluent neuf tâches simulées et cinq tâches réelles de manipulation avec contact. Le résumé rapporte une meilleure réussite que la baseline la plus forte et une latence d'inférence de 11,9 ms. Dans les cinq expériences réelles, le gain relatif de réussite annoncé est de 29,4 %.

Un agent logiciel peut appliquer le même principe en séparant signaux lents et rapides : état de configuration, résultat d'un test et événement critique ne méritent pas la même fréquence de lecture. Cette stratégie suppose des vérificateurs fiables, et une prédiction de l'état futur ne remplace pas la lecture de l'état réel après une opération irréversible. Les tâches restent centrées sur le contact ; le preprint n'est pas une certification industrielle.

Ajuster la longueur d'une action à la confiance du modèle

Un robot peut avancer longtemps sans regarder quand il traverse un espace libre, puis avoir besoin d'un retour visuel très fréquent à l'approche d'un contact. Un horizon d'action fixe tranche ce dilemme une fois pour toutes, mal. Xin Chen, Sen Chen, Yujuan Ding, Jian Liu, Guoqing Wang, Wei Ye, Heng Tao Shen et Yi Bin étudient cette tension dans les politiques Vision-Language-Action.

GeoAAC estime la fiabilité d'une action à partir de la géométrie des trajectoires de débruitage de Flow Matching. La variation entre les préfixes d'action sert de signal d'incertitude. Un profil géométrique permet ensuite de choisir un horizon adapté, sans nouvel entraînement et depuis une seule génération. Le contrôle devient adaptatif : l'agent exécute plus longtemps lorsque la prédiction paraît stable, et réduit son engagement lorsqu'une observation rapprochée vaut mieux. Le mécanisme borne la distance entre une décision et sa prochaine vérification.

Le résumé rapporte des expériences avec GR00T N1.5 et π0.5 sur LIBERO, LIBERO-Pro, RoboCasa365 et des tâches réelles. Les améliorations atteignent jusqu'à 8,7 points de pourcentage en simulation. Le taux moyen de réussite réel passe de 53,3 % à 74,4 % dans l'expérience rapportée.

L'analogie logicielle est une taille de lot ou une portée de modification adaptative : une opération risquée réduit son horizon et vérifie l'état plus tôt. La confiance ne devrait jamais être le seul garde-fou, les permissions et invariants restant externes au modèle. Les auteurs notent qu'une corrélation avec l'incertitude ne prouve pas une calibration universelle.

Compresser l'historique en un état interrogeable

Une tâche de manipulation longue dépend d'événements passés, mais donner toute l'histoire à une politique introduit aussi des corrélations parasites. Plus de contexte ne veut pas dire plus de contexte utile. Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal et Max Simchowitz proposent Workspace Models pour apprendre une mémoire compacte centrée sur ce qui compte pour l'action en cours.

Pendant l'entraînement, un modèle vision-langage identifie les informations présentes et historiques nécessaires à la tâche. Un décodeur de reconstruction distille ensuite ces éléments dans un état latent appelé workspace token. Au déploiement, cet état peut remplacer les observations historiques et être interrogé sans nouvelle requête VLM dans la boucle. L'opération coûteuse de sélection de contexte est donc amortie avant l'exécution. La mémoire obtenue n'est pas une fenêtre tronquée mais une représentation apprise de ce qui aide la politique.

Le résumé indique des évaluations en simulation et sur matériel réel. Les workspace tokens remplacent les observations pour des tâches nécessitant de la mémoire et donnent, dans les expériences rapportées, de meilleures performances tout en restant plus légers que les requêtes VLM dans la boucle.

La même idée invite un agent logiciel à conserver un état de travail structuré plutôt qu'une trace infinie, avec des éléments inspectables : origine, date, décision de sélection, test montrant qu'ils suffisent. Une mémoire compacte non vérifiable déplace l'erreur dans une boîte noire. Les auteurs signalent que le coût de l'encodeur autoregressif croît avec la longueur des séquences et que la supervision de saillance dépend du grounding du VLM.

Chercher des actions que le gradient ne trouve pas

L'apprentissage de politiques visuelles doit coordonner le contact avec l'environnement, et une optimisation locale peut converger vers un schéma de contact indésirable dont elle ne sort plus. Yilang Liu, Haoxiang You, Qian Wang, Daniel Rakita et Ian Abraham proposent Sampling-Guided Policy Search, ou SGPS, pour injecter une recherche d'actions dans la boucle.

SGPS affine périodiquement les cibles d'action par un contrôle prédictif fondé sur l'échantillonnage, puis applique de courtes mises à jour de policy gradient du premier ordre. Un clonage comportemental initialise la politique depuis les actions échantillonnées, et les étapes alternent sous des états initiaux perturbés et des dynamiques randomisées. Pour les politiques visuelles, la formulation découplée exclut le rendu du graphe de calcul : le modèle apprend depuis des observations de profondeur sans professeur fournissant l'état complet.

Sur un seul GPU, les auteurs apprennent des politiques pour la locomotion, le franchissement d'obstacles, la poussée de caisse et le portage bimanal sur des Unitree Go2 et G1 simulés. La recherche améliore l'apprentissage au-delà de l'initialisation et du simple suivi. Une politique distillée est transférée sans entraînement supplémentaire sur un Go2 réel, où elle utilise la profondeur pour changer de comportement.

Dans un agent logiciel, une recherche de candidats peut compléter une politique apprise quand les conséquences sont difficiles à différencier localement, à condition que le contrôleur garde une fonction de coût, des bornes et des tests indépendants : une action trouvée par exploration n'est pas pour autant admissible. Les résultats concernent les robots et dynamiques du protocole. Le rapprochement avec le dossier sur l'apprentissage par renforcement et les politiques est direct.

Collecter les démonstrations là où la politique hésite

Une politique Vision-Language-Action peut bien imiter les exemples connus et échouer sur des états hors distribution. Collecter uniformément de nouvelles démonstrations gaspille alors l'effort humain. Zimu Han, Yiming Zeng, Jiyao Zhang, Zihao Zhao, Yuanfei Wang, Yixiang Jin, Shiqi Li, Shuangben Chen, Wei Huang, Ruodai Li, Hui Shen et Hao Dong proposent HIL-UMI pour cibler ces données.

Pendant une démonstration UMI tenue à la main, HIL-UMI interroge la politique sur le même flux d'observation mais n'exécute pas sa prédiction. Un Energy Score compare la trajectoire humaine et l'inférence ; un écart important déclenche la collecte d'une région probablement hors distribution. Une seconde boucle estime les segments essentiels à partir d'un avantage en ligne faible, et cet estimateur guide un clonage comportemental conditionné par l'avantage, avec un mélange équilibré de démonstrations initiales et de nouvelles données issues de la politique.

Le résumé indique des améliorations constantes par rapport au SFT sur quatre tâches réelles, longues ou précises. HIL-UMI dépasse HG-DAgger sur Clean Up Table avec un temps de collecte par image inférieur dans l'expérience rapportée.

La supervision humaine d'un agent logiciel peut de même être déclenchée par un désaccord entre l'action proposée et un comportement de référence, plutôt que par un échantillonnage aveugle. Ce mécanisme réduit le volume à annoter sans garantir que le score détecte les cas importants : un désaccord de style et une action dangereuse ne méritent pas la même priorité. Les expériences portent sur quatre tâches et l'interface UMI, et la qualité dépend de l'estimateur d'avantage comme du score d'écart.

Mettre la contrainte de sécurité dans le harnais, pas dans le prompt

Un agent de manipulation peut atteindre son objectif tout en touchant un obstacle. Le preprint de Bingxin Xu, Yuzhang Shang, Zhen Dong et Emilio Ferrara part de ce cas : une instruction demande de déplacer un objet sans toucher une autre pièce, mais la réussite de la tâche reste la priorité effective du contrôleur. L'étude sépare deux moments. Pendant le trajet, l'agent doit choisir une route libre et pouvoir la recalculer. Au contact, il doit choisir un côté d'approche compatible avec l'obstacle. Une phrase ajoutée au prompt ne garantit ni l'une ni l'autre décision.

SafeHarness place la contrainte dans le harnais qui encadre l'agent. Pour la route, les objets deviennent des boîtes englobantes, le système propose des waypoints, vérifie le trajet et ne lance l'exécution qu'ensuite ; un arrêt ou une vérification négative renvoie vers la planification. Près d'un obstacle, le harnais examine la position de prise et choisit le côté éloigné lorsque l'option existe.

Sur SafeLIBERO, les auteurs rapportent 71,9 % de réussite de tâche et 87,5 % d'évitement de collision. Face au même agent sans ces harnais, les gains annoncés sont de 40,9 points pour la réussite et de 28,5 points pour l'évitement, soit des améliorations relatives de 2,3× et 1,5×. Ces valeurs décrivent ce benchmark, pas un atelier réel.

La leçon recoupe le dossier sur la sécurité des modèles et des agents : une contrainte importante se contrôle au point où l'action se produit. L'évaluation utilise une seule catégorie d'obstacle par scène, une boîte axis-alignée, une pince parallèle, et reste principalement simulée.

Faire diagnostiquer une panne sous-marine par un LLM

Un véhicule sous-marin autonome doit parfois réagir sans communication fiable. Khalid Halba, Kylie Cooper et James G. Bellingham proposent une architecture où un contrôle déterministe assure le fonctionnement normal, tandis qu'un LLM est appelé pour diagnostiquer une anomalie et proposer une récupération. Le modèle n'est pas l'autonomie entière, seulement un composant sollicité en cas d'écart.

SPAR couple un logiciel C temps réel, un orchestrateur, une injection de pannes fondée sur la physique, un prompt structuré, la génération et la validation d'un fichier de mission, puis son exécution. Les essais se répètent sur plusieurs réalisations de panne, au lieu de conclure depuis une démonstration isolée.

Les auteurs étudient une panne de déplacement du centre de gravité sur 480 essais. Le modèle frontière place le mécanisme dans ses trois premières hypothèses dans 85 à 90 % des essais, contre 60 à 78 % pour le meilleur modèle local rapporté. Les analyses associent le succès local au respect de la procédure complète ; les modèles plus faibles s'engagent parfois trop tôt sur une panne d'élévateur malgré un actionneur conforme. Diagnostic et décision opérationnelle ne semblent pas couplés ici, ce qui justifie de mesurer séparément l'hypothèse produite et l'action autorisée.

Un agent d'incident peut proposer un diagnostic, à condition que le système valide la commande, ses bornes et son effet attendu. Les auteurs rappellent qu'une seule famille de panne ne représente pas toutes les missions, et que des scores de juge LLM ne remplacent pas une validation d'ingénieur. Le dossier sur l'évaluation des LLM et l'incertitude va plus loin sur ce point.

Une représentation sémantique comme point de passage

Le renforcement apprend des politiques efficaces en simulation, mais les détails visuels changent dès qu'un véhicule sort du simulateur. Thomas Steinecker, Denis Trescher, Alexander Bienemann, Thorsten Luettel et Mirko Maehlisch présentent MILER pour réduire cet écart dans la conduite autonome non structurée, en traitant le transfert comme un problème de représentation plutôt que de robustesse visuelle.

Pendant l'entraînement, un simulateur MLR produit une représentation sémantique intermédiaire et la politique reçoit cette entrée pour contrôler un modèle bicyclette. Au déploiement, les données caméra et LiDAR sont transformées par BEVFusion vers une représentation compatible. Les actions ne sont pas appliquées directement : une stratégie d'alignement de trajectoire encadre le transfert de perception et de contrôle. La politique voit ainsi la même chose des deux côtés de la frontière.

Sur une piste réelle de 3 km comportant obstacles, épingles, sections hors route et vitesses jusqu'à 33,6 km/h, les auteurs ont parcouru 17,3 km avec deux véhicules sans intervention humaine. Le stack complet fonctionne sur un Jetson AGX Orin.

Un agent logiciel peut tirer le même bénéfice d'une représentation intermédiaire stable, par exemple l'état du dépôt, le plan de tests et les permissions effectives, la commande ne partant que si cette représentation respecte le contrat attendu. Le transfert entre environnements devient mesurable, ce qui ne supprime pas les différences du réel. Les auteurs lient leurs essais à une piste, deux véhicules et un stack matériel précis : un transfert sans intervention dans ce contexte ne prouve pas la robustesse sur toutes les routes.

Distiller un enseignant privilégié pour réduire le coût d'exploration

Une politique de conduite apprise sur des démonstrations humaines sort de sa distribution dès qu'elle agit en simulation ou sur une route. Le renforcement direct d'une politique caméra coûte cher : chaque interaction demande une simulation sensorielle.

OPTED sépare les rôles. Un enseignant reçoit des entrées vectorielles privilégiées, carte HD et boîtes englobantes, et est entraîné par RL ; il produit un futur plan avec une dynamique de modèle bicyclette. Il supervise ensuite en boucle fermée une politique étudiante préentraînée sur les images. Les trajectoires récentes tiennent dans un tampon FIFO borné, et la perte suit la sortie de l'étudiant : KL pour une distribution d'actions, L1 pour des waypoints.

Les auteurs appliquent la méthode à TransFuser et VaVAM dans AlpaSim, avec des reconstructions neurales 3DGS de journaux de conduite. Sur le split public NuRec, le score de scène passe de 26,5 à 41,8 pour LTFv6 et de 3,9 à 37,1 pour VaVAM à budget égal ; sur le challenge privé, de 25,1 à 32,2 et de 6,7 à 35,8, soit des hausses par des facteurs de 1,6 et 9,5 selon le modèle. Dans l'expérience vectorisée sur WOMD, OPTED atteint 95 % du score de l'enseignant après environ 6 800 épisodes fermés, contre 6,2 millions pour le fine-tuning RL direct dans la comparaison annoncée. Les deux approches ne visent pas le même compromis : OPTED reste une distillation, le RL direct optimise la récompense.

Le papier montre aussi le poids du contrôleur et des variables observées. Pour VaVAM, l'absence de vitesse du véhicule et la rareté des scènes rapides au préentraînement créent des erreurs à haute vitesse ; une contrainte de cercle de friction réduit les sorties de route. Moins d'interactions ne vaut pas une preuve de sécurité sur route ouverte.

Ce qui se recoupe entre ces quatorze travaux

Le motif le plus net est le refus de l'horizon fixe. GeoAAC rend adaptative la longueur d'un chunk d'action, Agile-WAM désynchronise la prédiction visuelle et la prédiction tactile, SafeHarness interrompt l'exécution pour revérifier un trajet, SPAR n'appelle son LLM qu'à l'apparition d'une anomalie. Quatre équipes, quatre domaines, et la même conclusion implicite : la fréquence à laquelle un système regarde l'état du monde doit dépendre de ce qu'il est en train de faire. Aucune ne propose de règle générale pour fixer cette fréquence, et les signaux utilisés diffèrent complètement, de la géométrie d'une trajectoire de débruitage à une boîte englobante.

Deuxième recoupement : la représentation intermédiaire comme lieu du transfert. MILER fait passer simulateur et véhicule réel par une même carte sémantique, NeuSOGA3D maintient des objets géométriques explicites plutôt qu'un latent opaque, Workspace Models distille un historique en un token interrogeable, SCOUT choisit une géométrie d'embedding avant d'ajouter des composants coûteux. Ces travaux déplacent la difficulté vers la définition d'un format commun, et ils supposent tous que ce format est fidèle. Trois des quatre sources le disent explicitement : la qualité de la représentation est héritée d'un système amont, segmentation, grounding VLM ou fusion de capteurs, et n'est pas mesurée séparément.

Troisième point, plus tendu : qui décide. SafeHarness retire au modèle le dernier mot sur l'admissibilité d'une action. SPAR laisse le LLM diagnostiquer mais pas commander, et observe que diagnostic et décision opérationnelle ne sont pas couplés dans son jeu de données. GeoAAC, à l'inverse, laisse un signal interne au modèle moduler l'engagement, tout en notant qu'une corrélation avec l'incertitude ne prouve aucune calibration. Il y a là un désaccord réel sur le degré de confiance accordé à l'auto-évaluation d'une politique, et les sources ne permettent pas de le trancher.

Sur le coût, deux stratégies opposées cohabitent. OPTED et SCOUT réduisent la dépense en déportant le travail sur un enseignant privilégié ou sur des encodeurs gelés, avec des écarts chiffrés frappants, 6 800 épisodes contre 6,2 millions pour le premier, 95 heures-GPU pour le second. HIL-UMI, lui, achète de la qualité en ciblant l'effort humain plutôt qu'en le réduisant. SGPS dépense de la recherche d'actions pour échapper à des optima locaux de contact. Rien dans ces sources ne permet de comparer ces budgets entre eux.

Ce qui reste ouvert est commun aux quatorze. Plusieurs rapportent un transfert réel réussi, MILER sur 17,3 km avec deux véhicules, SGPS sur un Go2, Agile-WAM sur cinq tâches, et chacune précise que ce succès est lié à son protocole. Les quatorze documents sont des preprints ArXiv. On ne sait pas, à partir de ces textes, laquelle de ces approches tient hors de son banc d'essai.

Sources

• arXiv:2609.13647v1 — YOLO12-MambaScan, préserver les détails fins dans la détection aérienne
• arXiv:2609.20817v1 — FAMOS: Feed-Forward 3D Articulation Modeling from Sparse Observations
• arXiv:2609.20323v1 — NeuSOGA3D: A Neuro-Symbolic Framework for Explainable 3D Geometric Reconstruction
• arXiv:2609.20414v1 — TouchSight: Bare-Handed Tactile Prediction from Egocentric Video via Generative Visual Augmentation
• arXiv:2609.19483v1 — SCOUT, retrieval personne-texte avec des encodeurs presque gelés
• arXiv:2609.20761v1 — Agile-WAM: An Agile Tactile World Action Model for Contact-Rich Robot Control
• arXiv:2609.20776v1 — GeoAAC: Geometry-Based Adaptive Action Chunking from Denoising Trajectories in VLA Policies
• arXiv:2609.20820v1 — Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision
• arXiv:2609.20575v1 — Accelerating Visual Policy Learning with Sampling-Based Model Predictive Control
• arXiv:2609.20659v1 — HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
• arXiv:2609.20822v1 — Coding Agents with an Obstacle-Aware Harness for Safe Robot Manipulation
• arXiv:2609.20620v1 — A Simulation Platform for AUV Fault Recovery: Exploring LLM-Based Diagnostic Strategies
• arXiv:2609.20747v1 — MILER: Semantic Mid-Level Representation for Sim-to-Real Reinforcement Learning in Unstructured Autonomous Driving
• arXiv:2609.20756v1 — OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher