Article · IA & agents
Prononcer le japonais sans segmenter trop tôt
Un pipeline à treillis et score neural traite la conversion graphème-phonème japonaise comme une recherche structurée.
Le coût des ambiguïtés de segmentation
Pour lire des kanji, une analyse morphologique erronée peut propager une mauvaise lecture. Les auteurs relâchent cette contrainte : un chemin du treillis est acceptable s'il produit la lecture complète correcte, même si sa segmentation n'est pas celle d'un analyseur classique.
Résultats rapportés
Le système combine un treillis de mots construit avec UniDic, un encodeur japonais DeBERTa et un score neuronal entraîné par une perte CRF, complétée par une marge entre lectures concurrentes. Des phrases sont générées par Gemini 3.1 Pro puis filtrées par couverture du treillis. Sur 13 536 phrases du benchmark Joyo-Kanji-Yomi, le modèle atteint 99,62 % d'exactitude, 0,32 % de taux d'erreur sur le mot cible et 0,14 % sur la phrase. MeCab + UniDic atteint 96,66 % d'exactitude ; l'oracle du treillis atteint 100 %. L'écart résiduel de phrase vient surtout des chiffres arabes.
Interprétation éditoriale
La leçon dépasse la lecture japonaise : préserver plusieurs hypothèses structurées peut être préférable à une décision précoce irréversible. Le modèle reste cependant un composant de conversion, pas une preuve que les données générées par un autre LLM sont toujours exactes.
Limites
Les noms propres sont exclus du filtrage et les chiffres, unités et mots latins sont moins bien couverts. L'évaluation porte sur un benchmark de kanji d'usage courant et ne mesure pas toutes les variétés de texte japonais.
Source
Résultats des auteurs, ArXiv 2609.19805v1 : résumé et preprint, PDF.