Le p-hacking aggrave-t-il toujours le biais de publication ?

Une seule étiquette cache deux mécanismes

Le p-hacking désigne les choix qui augmentent la probabilité qu'un résultat soit publié : abandonner une analyse, modifier une spécification ou recommencer une collecte. Cai, Pernoud et Xu distinguent les changements rapides de p-value — par exemple jeter une expérience non significative — des changements lents produits par une suite de petites décisions sur des données imparfaites.

Le biais de publication existe déjà lorsque les travaux significatifs sont sélectionnés. Le papier demande alors si le p-hacking ajoute toujours du biais, ou si certaines manipulations peuvent déplacer des résultats vers le seuil et réduire une partie de la distorsion conditionnelle à la publication.

Sélection et résultat publié

Le modèle représente un effet latent, une erreur standard et une procédure de publication qui favorise certaines valeurs de p. Le chercheur peut entreprendre une action rapide ou lente selon son coût et le gain de publication. Le résultat observé dans la littérature est donc un mélange de distribution vraie, sélection et comportement stratégique.

Les auteurs montrent que le p-hacking rapide aggrave toujours le biais dans leur cadre. Le p-hacking lent a un effet conditionnel : il aggrave le biais quand la sélection est faible, mais peut le réduire quand la sélection est forte. L'intuition est qu'il retire des résultats insignifiants tout en plaçant certains résultats manipulés juste au seuil, où ils sont publiés avec une probabilité supérieure.

Identification et application

Avec une hypothèse de normalité et un modèle contenant les deux types de p-hacking, les auteurs montrent qu'il est possible d'identifier la distribution vraie des effets ainsi que la moyenne contrefactuelle sous publication sélective sans p-hacking. Une application à des méta-analyses sur les nudges comportementaux et l'aide au développement trouve des indices compatibles avec les deux directions : atténuation et amplification.

Interprétation éditoriale : auditer le chemin, pas seulement la p-value

Une revue ou une équipe d'analyse devrait conserver les spécifications tentées, les critères d'arrêt, les données exclues et les transformations. Une p-value finale ne révèle pas si le chemin a été rapide, lent, pré-enregistré ou choisi après observation. La transparence ne rend pas toutes les décisions neutres, mais elle permet au lecteur de distinguer sélection et preuve.

Limites et statut de la source

Les résultats dépendent de la règle de publication, des coûts supposés du p-hacking et de l'hypothèse de normalité utilisée pour l'identification. Les applications empiriques sont décrites comme suggestives. Le modèle ne justifie aucune pratique de manipulation et ne transforme pas une méta-analyse en vérité corrigée automatiquement.

Sources

Source ArXiv : résumé de 2609.05372v1 · PDF.