Article · Finance & statistiques
Mesurer le lift publicitaire quand l'expérience n'a pas été planifiée
Une méthode de quasi-expérimentation qui détecte les ruptures de dépense avant d'estimer leur effet, avec des portes de qualification explicites.
Quand une variation devient un événement
Les entreprises modifient parfois un budget ou lancent un canal sans avoir préparé une expérience. Le changement existe alors dans les données, mais sa date et son effet ne sont pas toujours documentés. Georgios Filippou, Boi Mai Quach et Ashish Kumar Jha proposent de traiter ces variations comme des interventions potentielles, sans les confondre avec un essai randomisé.
Ce que les auteurs rapportent
La procédure comporte deux étapes. La première détecte et date une intervention par inférence bayésienne de ruptures dans les séries d'activité. La seconde construit un contrefactuel de série temporelle à variance contrainte et produit une estimation avec simulation d'incertitude. Cinq conditions de qualification portent notamment sur l'adéquation du contrefactuel, la matérialité, l'isolement, la direction et la plausibilité économique.
Sur deux benchmarks expérimentaux publiés par Meta, les auteurs rapportent une date d'intervention retrouvée exactement dans les deux cas. Pour le retrait publicitaire, l'effet est à 6,2 % de l'estimation expérimentale ; pour l'ajout publicitaire, l'intervalle à 90 % couvre l'estimation expérimentale et exclut zéro. Dans les simulations, une intervention est refusée faute de signal suffisant et une fausse candidate est écartée par le contrôle économique.
Lecture éditoriale : savoir refuser une attribution
L'intérêt pratique n'est pas de transformer toute rupture de budget en preuve de rendement. C'est de rendre le refus explicite : si le contrefactuel n'est pas adéquat, si l'intervention est mêlée à une autre ou si le retour implicite est économiquement impossible, le résultat ne doit pas devenir une promesse commerciale.
Cette discipline peut compléter un plan d'expérimentation, pas le remplacer. Une équipe peut utiliser les portes C1 à C5 comme checklist avant de publier un chiffre, puis conserver séparément la décision, les séries utilisées et la fenêtre d'incertitude.
Limites et statut de la source
Les deux benchmarks ne couvrent pas tous les modes d'échec. Les simulations reposent sur un générateur contrôlé et le papier indique qu'un contrôle faible ne permet pas de créer l'information absente. Le résultat positif comporte une sous-estimation de 20 % dans l'analyse discutée. Un essai randomisé reste préférable lorsqu'il est réalisable. Le document est un preprint et l'un des auteurs déclare diriger une société de conseil en analytique marketing.
Source
Georgios Filippou, Boi Mai Quach et Ashish Kumar Jha, « Pseudo-Incrementality Testing: Measuring Advertising Lift from Naturally Occurring Interventions », ArXiv 2609.18257v1 : résumé et preprint, PDF.