KoNeoBench : mesurer la compréhension des néologismes coréens

Les mots changent plus vite que les benchmarks

Un modèle peut connaître la langue générale sans comprendre un mot apparu récemment, surtout lorsqu'il combine abréviation, emprunt et morphèmes coréens. KoNeoBench traite cette évolution lexicale comme un objet d'évaluation à part entière.

Résultats rapportés

Le jeu contient 1 785 néologismes attestés dans la presse depuis 2020 et validés par des experts lexicographiques. Quatre tâches couvrent l'identification en contexte, la récupération des mots sources, la catégorisation sémantique ou spécialisée et la génération de définitions. Sur des sous-ensembles appariés de 50 items, les étudiants en linguistique dépassent GPT-5.4 pour l'identification en contexte et les mots sources ; GPT-5.4 dépasse les non-spécialistes pour la catégorie spécialisée. Les tâches les plus difficiles pour les modèles sont la récupération des composants sources et la définition fidèle sans exemple d'usage. Avec 250 définitions, la note d'un juge Gemini corrèle avec celle d'un expert à r = 0,708, mais le juge est plus indulgent sur le style et la factualité.

Interprétation éditoriale

Tester la langue récente demande des exemples d'usage, une validation humaine et plusieurs tâches. Une définition qui « sonne dictionnaire » n'est pas forcément sémantiquement exacte ; il faut contrôler séparément le sens, la forme lexicographique et les faits.

Limites

Les évaluations humaines sont réalisées sur de petits sous-échantillons. Les catégories coréennes et leur couverture médiatique ne représentent pas toutes les communautés linguistiques. Les scores de juge automatique sont utiles pour comparer des réglages, pas comme vérité absolue.

Source

Résultats des auteurs, ArXiv 2609.19916v1 : résumé et preprint, PDF.