Des profils utilisateur lisibles ne garantissent pas un meilleur classement

Une interface que l'utilisateur peut corriger

User Profile Recommendation synthétise l'historique de critiques d'une personne en profil textuel. L'utilisateur peut l'inspecter et le modifier, ce qui contraste avec un vecteur latent difficile à questionner. Le preprint reproduit ce protocole avec des modèles à poids ouverts et l'étend par des ablations, cinq graines et une analyse mécanistique.

Résultats rapportés

Les auteurs reproduisent le résultat central : les profils textuels restent compétitifs dans le protocole de reranking sur Amazon Movies & TV et TripAdvisor. Les perturbations du profil changent les prédictions, mais déplacent les notes de manière uniforme entre genres et laissent les classements inchangés, y compris sous steering des activations. L'analyse attribue ce comportement à l'objectif de régression des notes ; des modèles entraînés avec un objectif de classement dépassent clairement ce réglage dans la tâche étudiée. Le protocole comprend aussi des essais de stabilité sur les graines 37 à 41 et un pipeline reproductible verrouillé avec uv.

Interprétation éditoriale

La transparence du profil et l'efficacité du classement sont deux propriétés différentes. Un système peut permettre de corriger une préférence apparente sans que cette correction change réellement la liste proposée. Il faut donc tester l'effet sur les rangs et pas seulement l'effet sur une note prédite ou sur la lisibilité du texte.

Limites

L'étude se limite à deux jeux de données et à des profils produits avec Llama2-7B ou Mistral-7B selon les expériences. Les tests de steering montrent la faiblesse du réglage de régression, mais ne prouvent pas qu'un objectif de classement résoudra à lui seul la personnalisation. La scrutabilité dépend aussi de la fidélité du profil généré.

Sources

Résultats et réserves : résumé ArXiv · PDF. L'analyse produit est une interprétation éditoriale.