Guide · SaaS & dev
Calculer un score ordinal par espérance : un exemple sans décision de recrutement
Comprendre le score moyen d’une distribution sur cinq grades et les limites d’un classement fondé sur un seul token.
L’idée étudiée
Le preprint applique un score à des paires offre d’emploi–candidat, dans un contexte de démarrage à froid. Au lieu de générer une longue justification, le modèle prédit une distribution sur les grades de 1 à 5. Le score final est leur espérance : chaque grade est pondéré par sa probabilité.
Pour expliquer le calcul sans évaluer une personne, utilisons ici des documents fictifs à classer par pertinence. Cet exemple est pédagogique et ne reproduit ni les données ni les résultats du système de recrutement décrit.
Étape 1 — Partir d’une distribution complète
Supposons que les probabilités des grades 1 à 5 soient respectivement 0,05 ; 0,10 ; 0,20 ; 0,40 ; 0,25. Leur somme vaut 1. Le score moyen se calcule ainsi :
score = 1×0,05 + 2×0,10 + 3×0,20 + 4×0,40 + 5×0,25
score = 3,70
Ce score utilise toutes les catégories. Il diffère du grade le plus probable, ici 4, et de la seule probabilité du grade maximal, ici 0,25. Si l’on filtre les probabilités d’un vocabulaire plus large, il faut les renormaliser sur les grades retenus avant ce calcul.
Étape 2 — Comprendre ce que le nombre signifie
L’espérance est continue alors que les étiquettes sont discrètes. Elle permet de départager deux documents dont le grade modal est identique. En revanche, elle ne représente pas automatiquement une probabilité de réussite ou une mesure de confiance calibrée.
Le codage de 1 à 5 suppose aussi des distances numériques entre grades. Le papier combine une perte de régression sur l’espérance et une perte de classification. Une belle précision numérique ne corrige pas une définition ambiguë des étiquettes.
Étape 3 — Tester le classement, pas seulement le format
Dans l’étude, l’espérance dépasse légèrement le score fondé sur la probabilité du grade 5 pour la précision par paires : 0,7353 contre 0,7306. C’est un résultat du protocole étudié, pas une règle universelle.
Pour un exercice local, comparer les ordres obtenus sur quelques distributions connues, puis vérifier les égalités et les valeurs extrêmes. Conserver les mêmes entrées lors des comparaisons évite de confondre modification de score et modification des données.
Limites du transfert
Le système réel note chaque paire séparément ; les auteurs envisagent ensuite un objectif portant sur la liste. Son test en ligne randomise au niveau de l’employeur pour éviter de répartir ses comptes entre les deux bras.
Aucun résultat cité ici ne valide l’équité d’un recrutement ou une décision automatisée sur des personnes. La section officielle décrivant le score et l’apprentissage a été lue pour compléter l’extraction locale ; l’ensemble des expériences n’a pas été reproduit.
Source et statut
Source principale : Single-Token Expected-Value Scoring for Cold-Start Candidate Ranking, prépublication ArXiv 2609.18188v1 · PDF. Les résultats rapportés sont ceux des auteurs ; les conseils de méthode sont une interprétation éditoriale. Publication éditoriale, sans reproduction expérimentale dans cette session.
Compléments officiels effectivement consultés : 3.2 Single-Token Expected-Value Scoring. Lecture partielle ; voir les passages et limites consignés dans la frontmatter.