Cette section présente les métriques clés de Meridian : le résultat incrémental, le retour sur investissement (ROI), le ROI marginal (ROIm) et les courbes de réponse.
Points à retenir
Le résultat incrémental, le retour sur investissement (ROI), le ROI marginal (ROIm) et les courbes de réponse sont les outils qui transforment les résultats de votre modèle en stratégie commerciale concrète. Ils vous aident à répondre aux questions marketing les plus importantes : "Quelles ont été les performances de mes canaux ?" et "Où dois-je investir ensuite ?".
En analysant ces métriques, vous pouvez identifier vos canaux les plus efficaces, comprendre les niveaux de saturation actuels et optimiser votre budget pour maximiser vos résultats commerciaux. Les courbes de réponse, en particulier, permettent de visualiser efficacement l'impact d'une augmentation des dépenses sur le résultat incrémental, ce qui constitue la base d'une répartition du budget basée sur les données.
Exemple marketing
Imaginons que vous gériez une boutique de chaussures en ligne. Vous dépensez 10 000 € sur un canal média vidéo. Après avoir exécuté votre modèle Meridian, vous constatez que le canal a généré 25 000 € de ventes incrémentales.
- Le résultat incrémental correspond à la valeur générée par vos actions marketing. Par exemple, si vos ventes totales s'élèvent à 150 000 €, mais que Meridian estime qu'elles auraient été de 125 000 € sans la campagne, le résultat incrémental correspond à la différence, soit 25 000 €.
- Votre ROI est de 2,50 € (25 000 € de ventes divisés par 10 000 € de coût). Cela signifie que vous avez gagné 2,50 € pour chaque euro dépensé. Pour en savoir plus sur ce calcul, consultez Éléments à prendre en compte pour interpréter le ROI et les courbes de réponse.
- La courbe de réponse vous montre l'évolution potentielle de vos ventes en fonction de différents niveaux de dépenses. Vous constaterez que les rendements diminuent progressivement à mesure que les dépenses augmentent.
- Votre ROIm correspond au rendement que vous pourriez obtenir en augmentant légèrement vos dépenses (par exemple, en dépensant un euro de plus). Si votre canal approche de la saturation, il est possible que le ROIm s'élève seulement à 0,80 €, ce qui indique qu'il est temps d'investir ailleurs.
Recommandations empiriques
- Utilisez le ROI pour évaluer l'historique des performances : cette métrique détermine l'efficacité de vos dépenses passées sur un canal donné, de façon claire et globale.
- Utilisez les courbes de réponse pour optimiser vos budgets futurs : elles vous permettent de visualiser le point de diminution des rendements et de comprendre ainsi combien vous pouvez investir dans un canal avant qu'il ne devienne inefficace.
- Utilisez le ROIm pour évaluer le niveau de saturation : si le ROIm est beaucoup plus faible que le ROI, cela signifie que le canal commence à saturer au niveau des dépenses historiques. Les canaux offrant le ROIm le plus élevé sont les plus adaptés pour investir des fonds supplémentaires.
Tableau comparatif
| Métrique | Recommandée pour | Définition |
|---|---|---|
| ROI | Évaluer les performances passées | Moyenne historique pour l'ensemble des canaux |
| Courbes de réponse | Optimiser les dépenses futures et visualiser la diminution des rendements | Résultat incrémental par rapport au niveau de dépenses |
| ROIm | Comprendre le niveau de saturation actuel | Retour sur le prochain euro dépensé |
Exemples de code
Pour obtenir des exemples de code opérationnels, consultez Exemples : ROI, ROIm et courbes de réponse dans Meridian.
Explication détaillée
Cette section fournit les définitions des termes "ROI", "ROIm" et "courbes de réponse", et les méthodologies sous-jacentes, de manière plus détaillée.
Explication du résultat incrémental
Le résultat incrémental constitue la base du ROI, du ROIm et des courbes de réponse. Il s'agit de la part de votre résultat (ventes ou conversions, par exemple) qui a été générée par une activité marketing spécifique. Pour le calculer, Meridian compare le résultat réel à un scénario contrefactuel dans lequel l'activité marketing n'a jamais eu lieu. Pour les médias payants, le résultat incrémental peut être contextualisé davantage en fonction des dépenses de la manière suivante :
- La courbe de réponse estime le résultat incrémental pour n'importe quel niveau de dépenses.
- Le ROI correspond au résultat incrémental au niveau de vos dépenses historiques divisé par les dépenses.
- Le ROIm désigne le résultat incrémental généré par le prochain euro dépensé au-delà du niveau de budget historique.
Comment les courbes de réponse sont-elles générées ?
Une courbe de réponse représente la relation entre les dépenses et le résultat incrémental pour un même canal, en supposant que les dépenses sur tous les autres canaux restent inchangées.
Meridian génère cette courbe à différents niveaux de dépenses pour un canal. Il ajuste les dépenses historiques du canal à la hausse ou à la baisse selon un facteur (par exemple, 1,2 fois les dépenses historiques), puis estime le résultat incrémental à chaque niveau. La répartition historique des dépenses dans des périodes et des régions géographiques (le modèle de diffusion) est conservée lors de cette mise à l'échelle. Ce processus révèle le point à partir duquel un canal devient saturé et où tout investissement supplémentaire génère des rendements décroissants.
Éléments à prendre en compte pour interpréter le ROI et les courbes de réponse
- Effets différés : la définition du ROI utilise le coût total d'un canal sur une période spécifique comme dénominateur. Le numérateur correspond au résultat incrémental généré au cours de cette même période. Ce numérateur inclut les effets différés issus des annonces diffusées avant la période, mais exclut les effets futurs issus des annonces diffusées pendant la période. Sur une longue période (un an, par exemple), cela a un impact mineur sur l'estimation du ROI. Toutefois, pour les périodes plus courtes, l'effet peut être plus significatif.
- Risque d'extrapolation : pour calculer le résultat incrémental, le modèle doit estimer ce qui se serait passé si les dépenses avaient été nulles. Si vous avez toujours réalisé des dépenses constantes sur un canal, le modèle dispose de peu de données pour ce scénario de dépenses nulles et doit extrapoler en fonction des hypothèses qu'il a apprises. Le risque d'extrapolation affecte également l'estimation du résultat incrémental pour les points de la courbe de réponse qui dépassent les dépenses historiques, et plus vous vous éloignez, plus le risque augmente.
Annexe mathématique
Cette section explique comment Meridian définit les principaux estimands dignes d'intérêt, dont le résultat incrémental, le ROI, le ROI marginal et les courbes de réponse. Ces quantités sont définies à l'aide de résultats potentiels et de contrefactuels, des notions qui appartiennent à l'inférence causale.
Une fois les estimands clairement définis, vous pouvez examiner les hypothèses requises pour que la MMM fournisse une inférence valide. Grâce à ces hypothèses, vous pourrez vous assurer que le modèle est réellement capable d'estimer ces quantités. Si les hypothèses ne sont pas respectées, les estimations peuvent être fortement biaisées.
Nous vous recommandons de définir clairement les estimands causaux et les hypothèses requises pour toute méthodologie de MMM. Si vous ne le faites pas, les résultats du modèle sont susceptibles d'être mal interprétés. Pire encore, ignorer les hypothèses requises peut rendre l'analyse pratiquement absurde en raison d'un biais sous-jacent important.
Les définitions de la section suivante ne reposent sur aucun aspect de la spécification du modèle Meridian. Les mêmes définitions peuvent s'appliquer à n'importe quelle MMM. Il est essentiel de définir l'estimand causal pour toute analyse de la MMM. Les résultats seront ainsi interprétables, et vous pourrez déterminer si un modèle particulier est approprié pour l'analyse et selon quelles hypothèses.
Résultat incrémental
Nous commençons par le résultat incrémental, car il sert de base au ROI, au ROIm et aux courbes de réponse.
Framework d'inférence causale sur lequel repose le résultat incrémental
Meridian mesure l'effet causal des variables de traitement sur le résultat.
Le résultat correspond généralement aux revenus, mais lorsque le KPI ne se rapporte pas aux revenus et que les données revenue_per_kpi ne sont pas disponibles, Meridian définit le résultat comme étant le KPI lui-même.
Nous définissons le résultat incrémental à l'aide du framework d'inférence causale. En matière d'inférence causale, il est courant de voir des notations telles que \(Y^{(1)}\) et\(Y^{(0)}\) représentant des résultats potentiels dans les scénarios contrefactuels de traitement et de contrôle. La situation est similaire dans Meridian, mais légèrement plus complexe, car les scénarios contrefactuels de traitement et de contrôle sont des tableaux tridimensionnels couvrant les zones géographiques $g$, les périodes $t$ et les variables de traitement $i$. Nous désignons les scénarios contrefactuels de traitement et de contrôle par\(\left\{x^{(1)}_{g,t,i}\right\}\) et \(\left\{x^{(0)}_{g,t,i}\right\}\)respectivement. De plus, les résultats potentiels correspondent à un tableau bidimensionnel couvrant les zones géographiques et les périodes. Nous désignons les résultats potentiels dans les scénarios contrefactuels de traitement et de contrôle par\(\overset\sim Y_{g,t}^{\left(\left\{ x_{g,t,i}^{(1)} \right\}\right)}\)et \(\overset\sim Y_{g,t}^{\left(\left\{ x_{g,t,i}^{(0)} \right\}\right)}\)respectivement.
Les éléments suivants vous aideront à choisir entre les scénarios contrefactuels :
Toutefois, cette quantité n'est pas observable, car vous ne pouvez pas observer le résultat potentiel dans les deux scénarios contrefactuels. Il n'est possible d'observer qu'un seul scénario contrefactuel à la fois. À la place, pour deux scénarios de traitement contrefactuels donnés,( \(\{x^{(1)}_{g,t,i} \}\) et\(\{ x^{(0)}_{g,t,i} \}\)), définissez le résultat incrémental comme suit :
Où \(\{z_{g,t,i}\}\) désigne les valeurs observées pour un ensemble de variables de contrôle. Cette notation abrégée permet d'indiquer que le résultat attendu est conditionné par le fait que les variables aléatoires de contrôle prennent ces valeurs. Cette attente conditionnelle peut être estimée à l'aide d'un modèle de régression MMM et d'un ensemble de variables de contrôle soigneusement sélectionné. Pour en savoir plus, consultez Estimer le résultat incrémental à l'aide de la régression.
En général, la somme est obtenue à partir de \(g=1,\dots G\) et \(t=1,\dots T\). Toutefois, vous pouvez également définir un résultat incrémental pour n'importe quel sous-ensemble de ces valeurs.
Scénarios contrefactuels utilisés dans Meridian
Même si incremental_outcome offre suffisamment de flexibilité pour tenir compte de tous les scénarios contrefactuels, Meridian utilise par défaut une paire spécifique de scénarios de traitement contrefactuels. Étant donné que le ROI, le ROIm et les courbes de réponse sont basés sur les paramètres par défaut de incremental_outcome, cette paire spécifique est importante.
Meridian laisse \(\left\{x^{(1)}_{g,t,i}\right\}\) être les valeurs historiques réelles et \(\left\{x^{(0)}_{g,t,i}\right\}\) être identique aux valeurs historiques réelles, sauf que toutes les valeurs d'une variable de traitement spécifique sont définies sur sa valeur de référence. Pour les médias payants et naturels, les valeurs de référence sont nulles. Pour les variables de traitement non média, la valeur de référence peut être définie sur la valeur minimale observée de la variable (par défaut), la valeur maximale ou une valeur flottante fournie par l'utilisateur.
Pour une variable de traitement donnée \(q\), le résultat incrémental est défini comme suit :
\[\text{IncrementalOutcome}_q = \text{IncrementalOutcome} \left(\Bigl\{ x_{g,t,i} \Bigr\}, \Bigl\{ x_{g,t,i}^{(0,q)} \Bigr\} \right)\]
Où :
- \(\left\{ x_{g,t,i}\right\}\) correspond aux valeurs de traitement observées
- \(\left\{ x_{g,t,i}^{(0,q)} \right\}\) désigne les valeurs de traitement observées pour tous les traitements, sauf pour le traitement \(q\), qui est défini partout sur sa valeur de référence \(b_q\) . Plus spécifiquement :
- \(x_{g,t,q}^{(0,q)}=b_q\ \forall\ g,t\)
- \(x_{g,t,i}^{(0,q)}=x_{g,t,i}\ \forall\ g,t,i \neq q\)
Remarque : Il est possible que le scénario média contrefactuel (\(\left\{ x_{g,t,i}^{(0,q)} \right\}\)) ne soit pas réellement représenté dans les données. Dans ce cas, une extrapolation basée sur les hypothèses du modèle est nécessaire pour déduire le contrefactuel.
ROI
Le ROI d'un canal média payant \(q\) est défini comme suit :
\[\text{ROI}_q = \dfrac{\text{IncrementalOutcome}_q}{\text{Cost}_q}\]
Où \(\text{Cost}_q\) correspond au coût du canal média payant \(q\) cumulé pour toutes les zones géographiques et toutes les périodes.
Notez que la définition du ROI utilise le coût total d'un canal sur une période spécifique comme dénominateur. Le numérateur correspond au résultat incrémental généré au cours de cette même période. Ce numérateur inclut les effets différés issus des annonces diffusées avant la période, mais exclut les effets futurs issus des annonces diffusées pendant la période. Sur une longue période (un an, par exemple), cela a un impact mineur sur l'estimation du ROI. Toutefois, pour les périodes plus courtes, l'effet peut être plus significatif.
Courbes de réponse
En généralisant la définition du résultat incrémental, la courbe de réponse est définie pour le canal média payant \(q\) en tant que fonction qui renvoie le résultat incrémental en fonction des dépenses sur le canal \(q\) :
\[\text{IncrementalOutcome}_q (\omega \cdot \text{Cost}_q) = \text{IncrementalOutcome} \left(\left\{ x^{(\omega,q)}_{g,t,i} \right\}, \left\{ x^{(0,q)}_{g,t,i} \right\}\right)\]
Où \(\left\{ x^{(\omega,q)}_{g,t,i} \right\}\) désigne les valeurs média observées pour tous les canaux, sauf pour le canal \(q\), qui est multiplié partout par un facteur de \(\omega\) . Plus spécifiquement :
- \(x^{(\omega,q)}_{g,t,q}=\omega \cdot x_{g,t,q}\ \forall\ g,t\)
- \(x^{(\omega,q)}_{g,t,i}=x_{g,t,i} \forall\ g,t,i \neq q\)
ROI marginal (ROIm)
Le ROI marginal (ROIm) du canal média payant \(q\) est défini comme suit :
Où \(\delta\) est une petite quantité, par exemple \(0.01\).
Notez que les définitions de la courbe de réponse et du ROI marginal supposent implicitement un coût constant par unité média, qui équivaut au coût moyen historique par unité média.