Mesurer l’incrémentalité d’un test retail media en conditions réelles

L’incrémentalité retail media mesure une contribution, pas une attribution

Le retail media a imposé une promesse puissante aux directions marketing : rapprocher l’exposition publicitaire de la transaction réelle. Les plateformes distributeurs disposent de données transactionnelles first-party, c’est-à-dire collectées directement auprès de leurs clients, d’environnements d’achat à forte intention et de capacités de mesure qui paraissent plus solides que celles du display ouvert. Cette proximité avec la vente crée pourtant un risque analytique majeur : confondre ventes attribuées et ventes incrémentales.

Une vente attribuée est une conversion rattachée à une impression, un clic ou une exposition selon une règle d’attribution, c’est-à-dire une méthode qui assigne une conversion à un ou plusieurs points de contact média. Une vente incrémentale correspond, elle, à la vente qui n’aurait probablement pas eu lieu sans la campagne. La différence est décisive. Une campagne sponsorisée sur une marketplace peut afficher un ROAS, return on ad spend, ratio entre chiffre d’affaires attribué et dépenses publicitaires, de 8 ou 10 tout en générant peu de ventes additionnelles si elle capte surtout des acheteurs déjà décidés.

Le sujet devient critique lorsque les budgets retail media progressent plus vite que les capacités de mesure. Dans plusieurs catégories de grande consommation, le retail media représente déjà une part significative des investissements digitaux, parfois entre 15 % et 30 % des budgets e-commerce selon les marchés et les distributeurs. Or plus le canal devient structurant, moins il peut être piloté uniquement au ROAS plateforme. La question n’est plus : combien de ventes la régie déclare-t-elle ? Mais : quelle part de ces ventes est réellement créée par l’exposition publicitaire, sur quels segments, avec quelle marge et à quel coût d’opportunité ?

Mesurer l’incrémentalité en conditions réelles signifie accepter la complexité du terrain : disponibilité produit fluctuante, promotions concurrentes, saisonnalité, contraintes de consentement, audiences partiellement loguées, attribution cross-device limitée, pression commerciale des enseignes et arbitrages entre couverture, marge et visibilité sur la plateforme. Un test retail media robuste ne cherche pas une perfection académique. Il construit un contrefactuel crédible, c’est-à-dire une estimation raisonnable de ce qui se serait produit sans campagne.

Définir l’hypothèse business avant le protocole de test

La première erreur consiste à lancer un test d’incrémentalité comme un module de reporting ajouté en fin de campagne. L’incrémentalité doit être formulée avant l’achat média, car elle détermine le design expérimental, le choix des audiences, la durée du test, les KPI, key performance indicators, indicateurs clés de performance, et les seuils de décision.

Un test retail media peut répondre à plusieurs hypothèses très différentes. Une marque peut vouloir savoir si le search sponsorisé sur des requêtes génériques recrute de nouveaux acheteurs. Elle peut vouloir mesurer si une campagne display onsite, diffusée dans l’écosystème du distributeur, augmente la pénétration catégorie. Elle peut chercher à vérifier si une activation offsite, diffusée en dehors du site marchand mais enrichie par les données du retailer, génère des visites puis des ventes en magasin. Elle peut aussi tester si la défense de requêtes marque évite réellement la perte de parts de panier face aux concurrents.

Ces hypothèses ne se mesurent pas avec le même KPI primaire. Pour une campagne de conquête, le KPI pertinent sera souvent le nombre de nouveaux acheteurs incrémentaux, le coût par nouveau client incrémental ou la marge incrémentale. Pour une campagne de défense, on regardera davantage les ventes perdues évitées, la part d’impressions sur les requêtes stratégiques et le taux de cannibalisation. Pour une campagne haut de funnel, le KPI peut être la progression de recherches marque, de visites produit ou de ventes différées sur plusieurs semaines.

Le brief de test doit donc préciser au minimum cinq éléments : l’objectif dans le funnel, parcours allant de la notoriété à la conversion puis à la fidélisation ; la population éligible ; le mécanisme d’exposition ; le KPI primaire ; et la décision attendue. Par exemple : augmenter de 20 % le budget retail search si le coût par vente incrémentale reste inférieur à 12 euros, ou réduire les enchères sur requêtes marque si le taux de cannibalisation dépasse 70 %.

Sans cette discipline, l’organisation risque de déplacer la cible après coup. Si le ROAS est élevé mais l’incrémentalité faible, on parlera de visibilité défensive. Si le lift est positif mais le volume limité, on parlera de signal stratégique. Ces lectures peuvent être valides, mais seulement si elles ont été anticipées. Un test incrémental n’a de valeur managériale que s’il contraint une décision.

Choisir le bon design : holdout, geo-test, switchback ou matched markets

Le choix méthodologique est le cœur du test. En retail media, quatre approches dominent : le holdout utilisateur, le geo-test, le switchback et les marchés appariés. Chacune répond à des contraintes spécifiques.

Le holdout utilisateur consiste à exclure volontairement une partie de l’audience éligible de l’exposition publicitaire. Le groupe exposé reçoit la campagne, le groupe contrôle ne la reçoit pas. Si les deux groupes sont comparables, l’écart de ventes observé donne une estimation du lift incrémental. Cette méthode est puissante dans les environnements logués, notamment lorsque le retailer peut identifier les utilisateurs via compte client, carte de fidélité ou identifiant propriétaire. Un holdout de 10 % à 20 % de l’audience éligible est fréquent, mais le bon ratio dépend de la taille de l’audience, du taux de conversion attendu et de la sensibilité business à la perte d’exposition.

Le geo-test compare des zones géographiques exposées et non exposées. Il est particulièrement adapté au drive-to-store, aux ventes magasins ou aux campagnes offsite dont l’exposition ne peut pas être contrôlée au niveau utilisateur. Le principe consiste à sélectionner des zones test et contrôle comparables en historique de ventes, saisonnalité, densité de magasins, pression concurrentielle et mix média. Une période de pré-test de 4 à 8 semaines permet souvent de valider la stabilité des tendances avant activation.

Le switchback alterne périodes exposées et non exposées sur une même zone ou population. Cette méthode peut être utile lorsque les volumes sont faibles ou lorsque le retailer refuse un groupe contrôle permanent. Elle est plus sensible aux effets de calendrier : week-ends, promotions, paydays, ruptures de stock ou événements concurrentiels peuvent biaiser les résultats. Elle doit donc être utilisée avec des fenêtres suffisamment longues et une modélisation des effets temporels.

Les matched markets, ou marchés appariés, consistent à construire statistiquement un groupe contrôle proche du groupe test à partir de données historiques. C’est une solution pragmatique lorsque l’expérimentation stricte est impossible. Elle exige cependant une grande rigueur : les zones ou cohortes doivent être appariées sur les ventes passées, le panier moyen, la pénétration marque, la catégorie, la distribution numérique, la pression promotionnelle et les variables média. Une simple comparaison entre deux régions au profil vaguement similaire n’est pas un test incrémental.

Le choix dépend aussi du canal retail media. Le retail search onsite se prête mieux au holdout utilisateur ou au split d’enchères sur requêtes. Le display onsite peut être testé par holdout logué si la plateforme le permet. Le retail media offsite, activé via DSP, demand-side platform, plateforme d’achat automatisé d’impressions publicitaires, peut combiner holdout audience et geo-test. Les activations en magasin ou omnicanales nécessitent souvent une approche géographique, car l’exposition et la conversion ne se raccordent pas toujours proprement au même identifiant.

Calculer la taille d’échantillon et éviter les faux positifs

Un test d’incrémentalité échoue souvent avant son lancement parce que sa puissance statistique est insuffisante. La puissance statistique désigne la capacité d’un test à détecter un effet réel. Si les volumes sont trop faibles, un test peut conclure à l’absence d’impact alors que la campagne produit un effet modeste mais réel. À l’inverse, multiplier les découpages après coup peut faire apparaître des lifts artificiels.

Trois paramètres déterminent la taille nécessaire : le taux de conversion de base, l’effet attendu et le niveau de confiance souhaité. Supposons une marque alimentaire vendant 100 000 unités par semaine chez un retailer, avec une audience éligible de 500 000 clients et un taux d’achat hebdomadaire de 2 %. Si la campagne est censée générer un lift de 5 %, le taux d’achat passe de 2,00 % à 2,10 %. L’écart absolu est seulement de 0,10 point. Détecter cet effet exige beaucoup plus de volume que détecter un lift de 20 %.

Pour des produits à forte fréquence d’achat, les tests peuvent être relativement courts, parfois 2 à 4 semaines, si les volumes sont élevés. Pour des biens durables, des produits premium ou des catégories à cycle long, une fenêtre de 6 à 12 semaines peut être nécessaire. La durée doit intégrer le délai d’effet publicitaire : certaines expositions génèrent une vente immédiate, d’autres agissent sur la considération et se matérialisent plus tard. Juger une campagne display retail media sur 7 jours peut favoriser artificiellement le search de captation.

Le seuil de significativité, souvent fixé à 95 %, ne doit pas devenir un fétiche. En marketing, un résultat à 90 % de confiance peut être actionnable si l’effet économique est important et si le risque budgétaire est limité. À l’inverse, un lift statistiquement significatif de 1 % peut être inutile si le coût média absorbe toute la marge. La bonne lecture combine significativité statistique, amplitude business et robustesse opérationnelle.

Il faut également éviter le p-hacking, pratique qui consiste à multiplier les analyses jusqu’à trouver un résultat positif : segmentation par âge, région, device, catégorie, fréquence, requête, panier, exposition, puis sélection des seules cellules favorables. Les analyses par segment sont utiles, mais elles doivent être définies avant le test ou traitées comme exploratoires. Un lift de 18 % sur un micro-segment découvert après coup ne justifie pas nécessairement une réallocation budgétaire.

Mesurer la bonne valeur : chiffre d’affaires, marge, nouveaux clients et cannibalisation

L’incrémentalité ne se limite pas au chiffre d’affaires additionnel. En retail media, la valeur réelle dépend de la marge, du recrutement, de la fréquence d’achat et de la cannibalisation. Une campagne peut générer des ventes incrémentales sur un produit à faible marge ou en promotion, tout en dégradant la rentabilité nette. À l’inverse, une campagne au ROAS apparent plus faible peut être stratégique si elle recrute de nouveaux foyers acheteurs à forte valeur vie.

Le CPA, coût par acquisition, c’est-à-dire le coût média nécessaire pour générer une conversion, doit être décliné en CPA incrémental. La formule simple est : dépense média divisée par le nombre de conversions incrémentales. Si une campagne coûte 50 000 euros et génère 10 000 ventes attribuées, le CPA attribué est de 5 euros. Mais si le test montre que seules 2 000 ventes sont incrémentales, le CPA incrémental est de 25 euros. C’est ce chiffre qui doit guider l’arbitrage budgétaire.

Le ROAS doit suivre la même logique. Imaginons une activation retail search de 80 000 euros générant 640 000 euros de chiffre d’affaires attribué, soit un ROAS de 8. Le holdout montre un lift de 25 % seulement sur les ventes attribuées. Le chiffre d’affaires incrémental estimé est alors de 160 000 euros, soit un ROAS incrémental de 2. Si la marge brute est de 35 %, la marge incrémentale brute atteint 56 000 euros, inférieure au coût média. La campagne peut rester défendable pour des raisons concurrentielles ou de part de voix, mais elle n’est pas rentable en lecture directe.

La cannibalisation est particulièrement forte sur les requêtes marque et les audiences chaudes. Un utilisateur recherchant précisément une marque dans un moteur retail a déjà une intention élevée. Acheter 95 % de part d’impressions sur ces requêtes peut protéger contre les concurrents, mais une partie importante des ventes aurait eu lieu sans publicité. Dans certaines catégories, les taux de cannibalisation sur requêtes marque peuvent dépasser 60 % à 80 %. Cela ne signifie pas qu’il faut couper ces investissements, mais qu’il faut les plafonner et tester leur niveau optimal.

Le recrutement de nouveaux clients modifie l’équation. Une campagne qui génère 1 000 ventes incrémentales dont 600 auprès de nouveaux acheteurs peut valoir davantage qu’une campagne générant 1 500 ventes incrémentales auprès d’acheteurs existants fortement promotionnels. Il faut donc distinguer nouveaux clients marque, nouveaux clients catégorie, réactivation d’anciens acheteurs et augmentation de fréquence chez les clients existants. Chaque segment a une valeur différente.

La mesure idéale est la marge incrémentale nette : chiffre d’affaires incrémental multiplié par la marge, moins coûts média, frais technologiques, remises, coûts logistiques éventuels et coûts de mesure. Dans la pratique, toutes les données ne sont pas toujours disponibles, surtout lorsque le retailer limite l’accès aux marges ou aux logs. Mais l’annonceur doit au minimum exiger une lecture chiffre d’affaires incrémental, unités incrémentales, nouveaux acheteurs et, si possible, marge par famille de produits.

Contrôler les biais terrain : promotions, stock, concurrence et fréquence média

Un test retail media en conditions réelles est exposé à des biais que les dashboards ne corrigent pas automatiquement. Le premier est la promotion. Si une campagne test coïncide avec une remise de 20 %, un prospectus magasin ou une mise en avant en tête de gondole, le lift observé ne peut pas être attribué uniquement au média. La promotion doit être intégrée comme variable de contrôle ou équilibrée entre groupes test et contrôle.

Le deuxième biais est la disponibilité produit. Une rupture de stock dans les zones contrôle peut surestimer l’effet média dans les zones test. À l’inverse, une rupture dans le groupe exposé peut masquer un effet réel. Les taux de disponibilité, le nombre de références actives, la profondeur de stock et la distribution numérique doivent être suivis pendant toute la période. Un test sans contrôle stock est fragile, en particulier dans les catégories alimentaires, beauté, high-tech ou saisonnières.

Le troisième biais est la pression concurrentielle. Un concurrent peut lancer une promotion, augmenter ses enchères retail search, obtenir une meilleure position organique ou améliorer ses avis produits pendant le test. Ces mouvements influencent les ventes indépendamment de la campagne. Les tests les plus robustes intègrent des indicateurs de part d’impressions, de prix relatif, de disponibilité concurrente et de présence sponsorisée sur les requêtes clés.

Le quatrième biais est la fréquence média. En retail media offsite, une audience peut être exposée à plusieurs campagnes de la même marque via display, vidéo, social, email ou programmatique RTB, real-time bidding, mécanisme d’enchères en temps réel pour acheter une impression publicitaire lorsqu’elle devient disponible. Si le groupe test reçoit aussi davantage de pression média hors retail, le lift retail media sera surestimé. La coordination avec le plan média global est donc indispensable.

Enfin, les effets de halo doivent être distingués. Une campagne sur une référence peut augmenter les ventes d’autres produits de la marque, ou au contraire déplacer les achats depuis une référence non promue vers une référence sponsorisée. Mesurer uniquement le SKU, stock keeping unit, unité de gestion produit, activé peut sous-estimer ou surestimer l’effet réel. Le reporting doit inclure plusieurs niveaux : SKU activé, gamme, marque, catégorie et panier total lorsque le retailer le permet.

Interpréter les résultats : lift, intervalle de confiance et contribution marginale

Le résultat d’un test ne doit pas être résumé à un pourcentage de lift. Un lift de 12 % peut être excellent ou insuffisant selon la base de ventes, le coût média, la marge et le risque. L’interprétation doit combiner au moins cinq métriques : ventes incrémentales, chiffre d’affaires incrémental, ROAS incrémental, marge incrémentale et intervalle de confiance.

L’intervalle de confiance indique la plage plausible de l’effet réel. Si un test annonce un lift de 10 % avec un intervalle de confiance allant de 2 % à 18 %, l’effet est positif mais incertain. Si l’intervalle va de -3 % à 23 %, la lecture est moins robuste. En contexte business, il faut traduire cette incertitude en scénario bas, central et haut. Une décision d’augmentation budgétaire doit être défendable même dans un scénario prudent, ou limitée à un test supplémentaire si l’incertitude reste élevée.

La contribution marginale est plus importante que la moyenne. Une campagne peut être incrémentale à petit budget puis perdre en efficacité lorsque la fréquence augmente ou que les audiences les plus réactives sont saturées. L’élasticité n’est pas linéaire. Un budget de 50 000 euros peut générer un ROAS incrémental de 3,5 ; un budget de 150 000 euros peut tomber à 1,8. L’arbitrage doit donc porter sur le prochain euro investi, pas seulement sur la performance historique moyenne.

Les résultats doivent aussi être lus par segment pré-déclaré. Par exemple : nouveaux acheteurs vs acheteurs existants, forte vs faible fréquence, requêtes marque vs requêtes catégorie, onsite vs offsite, mobile vs desktop, zones urbaines vs périurbaines. Cette lecture permet d’identifier les poches de valeur sans surinterpréter des découpages opportunistes. Si le lift est concentré sur les nouveaux acheteurs exposés à des requêtes catégorie, le budget doit être réorienté vers ces contextes plutôt que renforcé uniformément.

Il est utile de construire une matrice de décision. Si le lift est positif, significatif et rentable en marge, on scale progressivement. Si le lift est positif mais non rentable, on optimise les enchères, les produits, la création ou le ciblage. Si le lift est non significatif mais prometteur sur un segment stratégique, on relance un test mieux dimensionné. Si le lift est nul ou négatif, on coupe ou on redéfinit l’hypothèse, sauf justification défensive explicitement assumée.

Conclusion : transformer le test en système d’allocation budgétaire

Mesurer l’incrémentalité d’un test retail media en conditions réelles n’est pas un exercice de validation cosmétique. C’est un mécanisme de gouvernance budgétaire. Il permet de distinguer les ventes captées des ventes créées, de réduire la dépendance au ROAS plateforme et de réallouer les investissements vers les segments où le média produit une contribution mesurable.

Une feuille de route actionnable peut tenir en sept étapes. Premièrement, formuler l’hypothèse business avant le lancement : conquête, défense, réactivation, hausse de fréquence ou halo marque. Deuxièmement, choisir le design adapté : holdout utilisateur, geo-test, switchback ou marchés appariés. Troisièmement, dimensionner le test avec une puissance suffisante et une fenêtre compatible avec le cycle d’achat. Quatrièmement, définir le KPI primaire en valeur incrémentale, pas en ventes attribuées. Cinquièmement, contrôler les biais terrain : promotion, stock, concurrence, pression média et saisonnalité. Sixièmement, interpréter les résultats avec intervalles de confiance, marge et contribution marginale. Septièmement, inscrire les apprentissages dans les règles d’enchères, de ciblage et de mix canal.

La maturité retail media ne consiste pas à prouver que chaque campagne fonctionne. Elle consiste à savoir où le retail media crée réellement de la demande, où il protège simplement une vente probable, et où il capte une attribution confortable mais peu incrémentale. Cette distinction est parfois inconfortable, car elle remet en cause des ROAS élevés et des habitudes d’achat bien installées. Mais elle est indispensable si le retail media veut conserver son statut de levier de croissance, et non devenir une taxe additionnelle sur des ventes déjà acquises.

Pour les professionnels du marketing, l’enjeu est donc de passer d’un pilotage par reporting à un pilotage par expérimentation. Un bon test ne donne pas seulement un chiffre de lift ; il produit une décision : augmenter, réduire, plafonner, segmenter, déplacer ou arrêter. C’est à cette condition que l’incrémentalité devient un avantage concurrentiel opérationnel, capable de transformer la donnée retail en allocation média plus rentable, plus défendable et plus alignée avec la création de valeur réelle.