Comparer deux SSP : enseignements d’un test sur inventaire vidéo

Tester deux SSP sur la vidéo revient à mesurer un chemin d’accès, pas seulement un prix

Comparer deux SSP, supply-side platforms, c’est-à-dire les plateformes utilisées par les éditeurs pour vendre leur inventaire publicitaire aux acheteurs, ne consiste pas à choisir celle qui affiche le CPM, coût pour mille impressions, le plus bas. Sur l’inventaire vidéo, la comparaison doit porter sur la valeur effective du chemin d’achat : capacité à accéder à l’inventaire recherché, transparence du seller, qualité du rendu, taux de visibilité, complétion, fraude, latence, duplication des bid requests, coût technologique et contribution business.

La vidéo rend ce diagnostic plus exigeant que le display standard. Une impression vidéo peut être déclarée disponible, remportée en RTB, real-time bidding, mécanisme d’enchères en temps réel permettant d’acheter une impression lorsqu’elle devient disponible, puis ne jamais produire une exposition utile : player trop bas dans la page, chargement lent du VAST, video ad serving template, standard de diffusion des publicités vidéo, environnement in-app peu mesurable, autoplay inaudible, ou encore impression visible seulement deux secondes sans attention réelle. Dans ce contexte, deux SSP donnant accès au même domaine peuvent produire des résultats radicalement différents.

L’enjeu pour les professionnels du marketing n’est donc pas uniquement média. Il est économique. Une SSP peut sembler moins chère en CPM brut, mais plus coûteuse en CPM visible, en coût par vidéo complétée ou en coût par visite qualifiée. Une autre peut afficher un prix facial supérieur, mais offrir une meilleure priorité d’accès, moins de revente intermédiaire, une meilleure mesurabilité et une contribution plus forte au funnel, c’est-à-dire au parcours allant de la notoriété à la considération, puis à la conversion.

Un test sérieux doit répondre à une question simple : à conditions comparables, quel chemin d’approvisionnement maximise la probabilité d’acheter une exposition vidéo utile au meilleur coût marginal ? Cette formulation impose de dépasser le reporting plateforme. Elle oblige à isoler les variables, à neutraliser les biais d’enchère, à contrôler les audiences, à regarder la qualité média et à relier les résultats à des indicateurs business. C’est précisément ce que révèle un test bien construit entre deux SSP.

Définir le protocole : même inventaire, même demande, mêmes règles de mesure

La principale faiblesse des comparaisons entre SSP vient d’un protocole mal contrôlé. Beaucoup d’annonceurs comparent deux plateformes sur des périodes différentes, avec des budgets différents, des audiences différentes ou des règles d’enchère modifiées en cours de route. Dans ces conditions, les écarts observés ne disent presque rien de la SSP. Ils reflètent surtout la saisonnalité, la pression concurrentielle, l’algorithme du DSP, demand-side platform, plateforme utilisée par l’acheteur pour piloter ses achats programmatiques, ou les arbitrages du trader.

Un protocole robuste commence par une hypothèse claire. Par exemple : la SSP A offre un meilleur accès aux inventaires vidéo premium, tandis que la SSP B génère un coût par exposition visible plus bas sur le même périmètre. L’objectif n’est pas de prouver que l’une est globalement meilleure que l’autre, mais de comprendre dans quelles conditions chacune crée de la valeur.

Le test doit ensuite isoler le périmètre. Idéalement, les deux SSP sont comparées sur les mêmes éditeurs, les mêmes formats vidéo, les mêmes devices, les mêmes pays, les mêmes fenêtres horaires et les mêmes segments d’audience. Si la SSP A livre surtout du desktop instream premium et la SSP B surtout du mobile outstream long tail, la comparaison de CPM n’a aucun sens. Il faut segmenter avant de conclure.

Un cadre opérationnel consiste à créer deux lignes d’achat dans le DSP avec des paramètres identiques : même budget quotidien, même objectif, même cap de fréquence, même création, même stratégie d’enchère, même seuil de brand safety, même fournisseur de mesure et même fenêtre d’attribution. La seule variable différenciante doit être le chemin SSP. Lorsque ce niveau de contrôle n’est pas possible, il faut au minimum documenter les écarts et pondérer les conclusions.

Le test doit aussi prévoir une durée suffisante. Sur un inventaire vidéo, une période de 48 heures peut suffire à détecter un problème technique, mais elle est souvent trop courte pour juger la performance. Une durée de deux à quatre semaines permet de couvrir les variations de semaine et de week-end, les fluctuations de demande, les cycles de diffusion et les apprentissages algorithmiques. Pour des volumes significatifs, un seuil minimal de 500 000 à 1 million d’impressions mesurables par bras de test est souvent préférable afin d’éviter des conclusions fondées sur du bruit.

Enfin, il faut définir la source de vérité avant le lancement. L’ad server, le DSP, les SSP et l’outil de vérification peuvent produire des chiffres différents. Le test doit préciser quel outil mesure les impressions, la visibilité, l’IVT, invalid traffic, trafic invalide lié à des bots ou à des comportements non humains, la complétion et les conversions. Sans cette gouvernance, chaque partie pourra défendre son propre tableau de bord.

Comparer les métriques supply : accès, duplication, seller type et transparence

La première famille d’enseignements concerne la supply elle-même. Une SSP n’est pas seulement une source d’impressions ; c’est un chemin d’accès à un inventaire, avec ses règles d’enchère, ses frais, ses priorités, ses sellers et ses niveaux de transparence. Deux SSP peuvent proposer le même domaine ou la même application, mais pas forcément le même placement, le même niveau de priorité ni la même qualité de signal.

Le premier indicateur à examiner est le bid request volume, c’est-à-dire le volume de demandes d’enchères reçues par le DSP. Un volume élevé peut signaler une forte liquidité, mais aussi une duplication excessive. Si une même impression est proposée simultanément par plusieurs SSP, l’acheteur peut se retrouver en concurrence avec lui-même ou payer des coûts d’accès redondants. La duplication de requêtes est particulièrement fréquente sur les inventaires vidéo ouverts, où l’éditeur multiplie les connexions pour maximiser la demande.

Le deuxième indicateur est la win rate, taux d’enchères remportées. Une SSP peut envoyer beaucoup de requêtes mais offrir peu de gains effectifs si les floors, prix planchers fixés par l’éditeur ou la plateforme, sont élevés ou si l’acheteur n’a pas de priorité. À l’inverse, une win rate très élevée peut indiquer un inventaire moins concurrentiel, ce qui n’est pas toujours positif : il peut s’agir d’inventaires peu recherchés, moins visibles ou moins qualitatifs. La win rate doit donc être lue avec le clearing price, prix auquel l’impression est effectivement remportée, et non isolément.

Le seller type est également critique. Les standards ads.txt, app-ads.txt, sellers.json et SupplyChain Object permettent d’identifier si le vendeur est direct ou reseller. Un chemin direct ne garantit pas automatiquement la performance, mais il réduit les risques de revente opaque, d’écarts de frais et d’usurpation. Dans un test vidéo, il est pertinent de comparer la part d’impressions achetées via sellers directs, la longueur moyenne de la chaîne d’approvisionnement et les éventuelles anomalies de déclaration.

Un exemple chiffré illustre l’enjeu. Sur un test de 2 millions d’impressions vidéo éligibles, la SSP A affiche un CPM brut de 14 euros, une win rate de 18 % et 82 % de sellers directs. La SSP B affiche un CPM brut de 11 euros, une win rate de 31 % et seulement 46 % de sellers directs, avec plusieurs chemins reseller. À première vue, la SSP B semble plus efficiente. Mais si elle génère davantage d’impressions dupliquées, moins de transparence et une qualité vidéo inférieure, son avantage de prix peut disparaître dans les métriques utiles.

La bonne lecture consiste à calculer non seulement le CPM, mais le coût par impression mesurable, le coût par impression visible, le coût par vidéo complétée visible et le coût par visite ou conversion qualifiée. La supply n’est performante que si elle transforme un accès média en exposition exploitable.

Lire la qualité vidéo : visibilité, complétion, player et latence

La deuxième famille d’enseignements concerne la qualité d’exposition. Pour une campagne vidéo, la viewability, ou visibilité publicitaire, mesure la part d’impressions considérées comme visibles selon un standard. Le standard MRC, Media Rating Council, retient souvent 50 % des pixels visibles pendant au moins deux secondes pour la vidéo. Ce seuil est utile, mais il reste minimal. Une vidéo visible deux secondes n’a pas la même valeur qu’une vidéo visible huit secondes, audible et complétée à 75 %.

Dans un test entre deux SSP, le taux de visibilité doit être croisé avec la mesurabilité. Une SSP peut afficher 78 % de visibilité sur les impressions mesurables, mais seulement 65 % de mesurabilité sur le total livré. Une autre peut afficher 70 % de visibilité mais 92 % de mesurabilité. Le volume d’expositions visibles réelles peut alors être supérieur chez la seconde. Il faut donc distinguer impressions servies, impressions rendues, impressions mesurables et impressions visibles.

La complétion vidéo, c’est-à-dire la part de vidéos vues jusqu’à la fin ou jusqu’à un seuil donné, doit aussi être interprétée prudemment. Un taux de complétion de 90 % sur CTV, connected TV, télévision connectée, n’a pas la même signification qu’un taux de 70 % en mobile outstream. La CTV peut être plein écran, mais la présence réelle devant l’écran et la duplication foyer sont plus difficiles à mesurer. L’outstream peut offrir de la couverture, mais être très dépendant de la vitesse de scroll. L’instream peut être visible, mais skippable et peu attentif.

Le coût par vidéo complétée visible est souvent plus révélateur que le CPM brut. Supposons que la SSP A livre un CPM de 13 euros, avec 80 % de mesurabilité, 70 % de visibilité et 55 % de complétion visible. Son coût pour mille vidéos complétées visibles se situe autour de 42 euros. La SSP B livre un CPM de 10 euros, avec 65 % de mesurabilité, 55 % de visibilité et 38 % de complétion visible. Son coût pour mille vidéos complétées visibles approche 74 euros. Le CPM brut racontait l’inverse de la réalité économique.

La latence doit également être auditée. En vidéo programmatique, le chargement du player, l’appel publicitaire, la réponse VAST, les pixels de vérification et les enchères en cascade peuvent dégrader l’expérience. Une SSP avec un prix inférieur mais des time-outs fréquents peut réduire le taux de rendu et gonfler les écarts entre impressions gagnées et impressions réellement exposées. Les logs DSP et les rapports ad server doivent permettre d’identifier les pertes de rendu, les erreurs VAST, les no ads, les time-outs et les écarts de chargement par environnement.

Il ne faut pas oublier le format. Une SSP peut surperformer sur instream desktop, mais sous-performer sur mobile web outstream. Une autre peut être forte en in-app vidéo avec SDK bien intégrés, mais faible en web ouvert. La conclusion doit donc être segmentée : la meilleure SSP n’existe pas en absolu ; il existe des combinaisons SSP, éditeur, format, device et objectif plus ou moins efficientes.

Relier le test aux métriques de performance : CPA, ROAS et incrémentalité

Une comparaison entre SSP ne peut pas s’arrêter à la qualité média. Elle doit interroger la performance business, tout en évitant les pièges classiques de l’attribution. Le CPA, coût par acquisition, mesure le coût nécessaire pour générer une conversion attribuée. Le ROAS, return on ad spend, mesure le chiffre d’affaires attribué rapporté aux dépenses publicitaires. Ces indicateurs sont utiles, mais ils peuvent être trompeurs si les conversions sont majoritairement post-view, peu dédupliquées ou concentrées sur des audiences déjà chaudes.

L’attribution désigne la méthode qui assigne une conversion à un ou plusieurs points de contact marketing. Sur la vidéo, l’attribution post-view est fréquente, car le format génère peu de clics. Mais attribuer une conversion à une impression vidéo non visible, non mesurable ou servie à un client déjà en panier est économiquement discutable. Dans un test SSP, il faut donc conditionner l’analyse de performance à des critères d’exposition qualifiée.

Une approche rigoureuse consiste à produire trois lectures. Premièrement, la performance brute : conversions et revenus attribués par le DSP ou l’ad server. Deuxièmement, la performance qualifiée : conversions associées à des impressions visibles, non frauduleuses, dans une fenêtre de temps cohérente. Troisièmement, la performance incrémentale estimée : part des conversions qui n’auraient probablement pas eu lieu sans exposition. L’incrémentalité peut être approchée par holdout, groupe volontairement non exposé, geo-test ou conversion lift lorsque le volume le permet.

Dans un cas de test vidéo sur deux SSP, un annonceur e-commerce observe les résultats suivants sur quatre semaines. La SSP A dépense 60 000 euros, génère 4,6 millions d’impressions, 2,7 millions d’impressions visibles et 1 120 conversions attribuées. La SSP B dépense 60 000 euros, génère 5,8 millions d’impressions, 2,1 millions d’impressions visibles et 1 280 conversions attribuées. En lecture brute, la SSP B semble meilleure : plus de volume, plus de conversions, CPA attribué de 46,90 euros contre 53,60 euros.

Mais l’analyse qualifiée change le diagnostic. Après exclusion des impressions non visibles, déduplication avec le retargeting display et pondération des clients existants, la SSP A conserve 620 conversions qualifiées, contre 510 pour la SSP B. Un mini-holdout indique ensuite une incrémentalité estimée de 42 % sur la SSP A et de 24 % sur la SSP B. Le CPA incrémental devient alors environ 230 euros pour la SSP A et 490 euros pour la SSP B. Ce résultat ne signifie pas que la SSP B est mauvaise ; il indique qu’elle capte davantage de conversions déjà probables ou moins qualifiées sur ce périmètre.

Le lien avec le funnel est essentiel. Si l’objectif principal est la notoriété, les métriques de lift, de reach qualifié et de coût par exposition utile peuvent primer. Si l’objectif est la considération, les visites qualifiées, les recherches marque et les séquences d’engagement sont pertinentes. Si l’objectif est la conversion assistée, l’incrémentalité, le statut nouveau client, la marge et la déduplication deviennent prioritaires. Comparer deux SSP sans rappeler le rôle de la campagne revient à mélanger des instruments de mesure incompatibles.

Identifier les biais du test : algorithme DSP, floors dynamiques et apprentissage

Même avec un protocole solide, un test SSP reste exposé à plusieurs biais. Le premier vient du DSP. L’algorithme d’enchère peut apprendre plus vite sur un bras de test parce qu’il reçoit plus de signaux, gagne plus d’impressions ou observe plus de conversions. Si la SSP B génère plus de volume au départ, le DSP peut lui allouer davantage d’opportunités qualifiées, non parce qu’elle est intrinsèquement meilleure, mais parce que le modèle a plus de données pour optimiser.

Pour limiter ce biais, il faut imposer des règles de pacing, c’est-à-dire de distribution du budget dans le temps, et surveiller la répartition des enchères. Dans certains cas, un split budgétaire strict 50/50 est nécessaire pendant la phase d’apprentissage. Dans d’autres, un test en alternance par période ou par géographie peut mieux contrôler les effets de concurrence interne. L’important est de documenter les décisions de bidding : bid shading, niveau d’enchère, objectifs de CPA ou de ROAS, seuils de visibilité pré-bid, exclusions et caps.

Le deuxième biais vient des floors dynamiques. Une SSP peut ajuster les prix planchers selon la demande observée, le device, l’éditeur ou l’heure. Si le test augmente fortement la demande sur un chemin, le floor peut monter et modifier l’économie de l’achat. Une comparaison ponctuelle peut alors mesurer une réaction de pricing plutôt qu’une qualité de supply. L’analyse des clearing prices par percentile, et non seulement du CPM moyen, permet de détecter ces effets.

Le troisième biais est la duplication d’audience. Si les deux SSP touchent les mêmes individus dans des fenêtres proches, elles peuvent se cannibaliser. Une impression de la SSP B peut convertir un utilisateur déjà exposé plusieurs fois via la SSP A, ou inversement. Les rapports de reach et de fréquence cross-SSP sont donc essentiels, même s’ils sont difficiles à obtenir dans un environnement fragmenté. Les clean rooms, environnements sécurisés permettant de croiser des données sans exposer les identifiants individuels, peuvent aider lorsque l’annonceur, l’éditeur ou le partenaire média dispose d’identifiants consentis.

Le quatrième biais est créatif. Une même création peut mieux performer dans un contexte instream que dans un outstream silencieux. Si une SSP livre davantage d’inventaire où le son est coupé ou où les durées visibles sont courtes, elle désavantage une création dont le branding arrive tard. Le test doit donc analyser les résultats par asset créatif et vérifier si l’écart vient réellement de la supply ou de l’adéquation création-format.

Enfin, la saisonnalité concurrentielle peut fausser la lecture. Les périodes de forte demande vidéo, comme les temps forts commerciaux, les lancements produits ou les événements sportifs, modifient les prix, la disponibilité et la densité d’enchères. Un test mené en période calme ne se transpose pas mécaniquement à une période de tension. Les conclusions doivent être datées, contextualisées et réévaluées régulièrement.

Traduire les enseignements en décisions d’achat et de gouvernance

La valeur d’un test entre deux SSP se mesure à sa capacité à modifier le prochain plan média. Il ne suffit pas de déclarer une gagnante. Il faut transformer les résultats en règles d’achat, en seuils de qualité et en hypothèses de test futures. La décision peut être de privilégier une SSP sur certains formats, d’en exclure une sur certains sellers, de maintenir les deux pour préserver la liquidité, ou de négocier des deals plus transparents avec des conditions précises.

Un framework décisionnel peut distinguer quatre cas. Premier cas : une SSP est meilleure en prix et en qualité sur un segment donné. La décision est simple : augmenter progressivement la part de budget, tout en surveillant l’effet de saturation et la hausse éventuelle des floors. Deuxième cas : une SSP est plus chère mais offre une meilleure exposition utile et une meilleure incrémentalité. Elle mérite un rôle premium, à condition de définir un vCPM ou un coût par vidéo complétée visible maximal. Troisième cas : une SSP est moins chère mais plus faible en qualité. Elle peut rester utile pour de la couverture large, avec des seuils pré-bid et post-bid stricts. Quatrième cas : les résultats sont instables. Il faut prolonger le test, segmenter davantage ou changer le protocole.

Les décisions doivent être formulées de manière opérationnelle. Par exemple : maintenir la SSP A en priorité sur instream desktop et CTV mesurable, avec un plafond de 38 euros pour mille vidéos complétées visibles ; réduire de 30 % la SSP B sur mobile web outstream lorsque la visibilité descend sous 55 % ; exclure les sellers reseller présentant plus de 2 % d’IVT ; ouvrir un nouveau test sur in-app vidéo avec contrôle de complétion audible ; réévaluer les résultats à J+30 avec déduplication CRM et analyse nouveaux clients.

La gouvernance contractuelle est aussi importante. Les acheteurs doivent demander plus de transparence sur les frais, les sellers, les placements, la mesurabilité, les erreurs VAST et les règles de floor. Les deals privés ne doivent pas être acceptés comme premium par défaut. Un PMP, private marketplace, marché privé entre acheteurs et vendeurs sélectionnés, doit être audité comme l’open auction : quels placements, quelles priorités, quels floors, quelle part d’inventaire direct, quelle visibilité, quel taux d’IVT, quel coût effectif par exposition utile ?

Le test doit enfin alimenter la supply path optimization, ou SPO, discipline visant à rationaliser les chemins d’achat pour réduire les frais, la duplication et l’opacité. La SPO mature ne consiste pas à réduire le nombre de SSP de manière arbitraire. Elle consiste à sélectionner les chemins qui apportent de la valeur démontrable par segment. Supprimer une SSP peut réduire la duplication, mais aussi limiter la couverture ou la compétitivité. En conserver trop peut augmenter les coûts cachés et la complexité. L’arbitrage doit rester empirique.

Conclusion : une comparaison SSP utile doit produire des règles, pas un classement simpliste

Comparer deux SSP sur un inventaire vidéo est un exercice de mesure économique autant que technique. Le CPM brut, la win rate ou le volume d’impressions ne suffisent pas. Ce qui compte est le coût de l’exposition utile : une impression vidéo mesurable, visible, non frauduleuse, rendue dans un contexte cohérent, avec une durée suffisante et une contribution crédible au rôle assigné dans le funnel.

Une méthode actionnable peut se résumer en huit étapes. Premièrement, définir l’hypothèse du test et le rôle de la campagne : notoriété, considération ou conversion assistée. Deuxièmement, isoler la variable SSP en maintenant constants le DSP, la création, l’audience, l’objectif, le pacing et les règles de mesure. Troisièmement, segmenter les résultats par éditeur, device, format, seller, environnement et type de deal. Quatrièmement, comparer les métriques supply : bid requests, win rate, floors, seller type, duplication et transparence. Cinquièmement, calculer les métriques de qualité vidéo : mesurabilité, visibilité, complétion, erreurs VAST, latence, IVT et coût par vidéo complétée visible. Sixièmement, relier ces signaux à la performance business en distinguant conversions attribuées, conversions qualifiées et conversions incrémentales. Septièmement, identifier les biais liés à l’algorithme DSP, aux floors dynamiques, à la duplication d’audience et à la création. Huitièmement, transformer les enseignements en règles d’achat, de SPO et de gouvernance contractuelle.

Le principal enseignement d’un test bien mené est rarement que la SSP A bat définitivement la SSP B. Il est plus souvent que la SSP A est supérieure sur certains inventaires, à certains seuils de prix, avec certains formats et certains objectifs, tandis que la SSP B conserve une utilité sur d’autres segments. La maturité consiste à abandonner les classements globaux pour construire une matrice de décision : quel chemin pour quel inventaire, à quel prix, avec quel niveau de qualité et quel impact attendu.

Pour les professionnels du marketing, l’enjeu est de reprendre le contrôle sur une chaîne d’approvisionnement vidéo souvent trop opaque. Un test SSP n’est pas un audit ponctuel destiné à justifier une ligne de reporting. C’est un mécanisme d’apprentissage qui permet d’acheter moins de volume inutile, plus d’expositions réellement exploitables et davantage de contribution business mesurable. Dans un marché où la pression sur les budgets augmente et où la vidéo reste l’un des formats les plus coûteux, cette discipline n’est plus optionnelle : elle conditionne la qualité réelle de l’investissement programmatique.