En esta sección, se explican las métricas clave de Meridian: el resultado incremental, el retorno de la inversión (ROI), el ROI marginal (mROI) y las curvas de respuesta.
Aspectos clave
El resultado incremental, el retorno de la inversión (ROI), el ROI marginal (mROI) y las curvas de respuesta son herramientas que permiten convertir los hallazgos de tu modelo en una estrategia comercial práctica. Te ayudan a responder las preguntas de marketing más importantes, como "¿cuál fue el rendimiento de mis canales?" y "¿dónde debería hacer mi próxima inversión?".
Si comprendes estas métricas, podrás identificar tus canales más eficientes, entender los niveles de saturación actuales y optimizar tu presupuesto para maximizar los resultados comerciales. En particular, las curvas de respuesta son una poderosa herramienta de visualización que permite observar cómo varía el resultado incremental en función de una mayor inversión, lo que sienta las bases para una asignación del presupuesto basada en datos.
Ejemplo de marketing
Imagina que tienes una tienda de calzado en línea. Inviertes \USD 10,000 en un canal de medios de video. Después de ejecutar tu modelo de Meridian, descubres que el canal generó USD 25,000 en ventas incrementales.
- El resultado incremental es el valor que generaron tus acciones de marketing. Por ejemplo, si tus ventas totales fueron de USD 150,000, pero Meridian estima que, sin la campaña, las ventas habrían sido de USD 125,000, el resultado incremental es la diferencia, es decir, \USD 25,000.
- Tu ROI es de USD 2.50 (ventas por USD 25,000/costos por USD 10,000), lo que significa que obtuviste USD 2.50 por cada dólar invertido. Consulta Consideraciones para interpretar el ROI y las curvas de respuesta para obtener más información sobre estos cálculos.
- La curva de respuesta representa cómo variarían tus ventas en función de diferentes niveles de inversión. Te muestra que invertir aún más dinero genera retornos cada vez más bajos.
- Tu mROI es el retorno que obtendrías con un pequeño aumento en la inversión (por ejemplo, un dólar más). Si tu canal está por saturarse, el mROI podría ser de solo \USD 0.80, lo que indicaría que es momento de invertir en otro lugar.
Recomendaciones importantes
- Utiliza el ROI para evaluar el historial de rendimiento: Te proporciona una calificación general clara sobre la efectividad de tu inversión anterior en un canal determinado.
- Utiliza las curvas de respuesta para optimizar los presupuestos futuros: Estas curvas permiten visualizar el punto en el que los retornos comienzan a disminuir y te ayudan a entender cuánto puedes invertir en un canal antes de que deje de ser eficiente.
- Usa el mROI para evaluar el nivel de saturación: Si el mROI es mucho más bajo en comparación con el ROI, el canal comienza a saturarse en el nivel de inversión histórico. Los canales con el mROI más alto son los más adecuados para invertir fondos adicionales.
Tabla comparativa
| Métrica | Uso ideal | Definición |
|---|---|---|
| ROI | Evaluación del rendimiento anterior | Es un promedio histórico de todo el canal. |
| Curvas de respuesta | Optimización de la inversión futura y visualización del punto en el que comienzan a disminuir los retornos | Es el resultado incremental como una función de la inversión. |
| mROI | Comprensión del nivel de saturación actual | Es el retorno del próximo dólar invertido. |
Ejemplos de código
Consulta Ejemplo: ROI, mROI y curvas de respuesta en Meridian para ver ejemplos de código en funcionamiento.
Explicación detallada
En esta sección, ahondaremos en las definiciones y las metodologías detrás del ROI, el mROI y las curvas de respuesta.
Explicación del resultado incremental
El ROI, el mROI y las curvas de respuesta se basan en el resultado incremental. Es la parte de tus resultados, que pueden ser ventas o conversiones, que se generó a partir de una actividad de marketing específica. Meridian calcula este valor comparando el resultado real con una situación contrafáctica en la que no se llevó a cabo la acción de marketing. En el caso de los medios de comunicación pagados, el resultado incremental se puede contextualizar aún más según la inversión de las siguientes maneras:
- La curva de respuesta estima el resultado incremental en cualquier nivel de inversión determinado.
- El ROI es el resultado incremental en tu nivel de inversión histórico dividido por la inversión.
- El mROI es el resultado incremental de tu próximo dólar invertido por encima del nivel de presupuesto histórico.
Cómo se generan las curvas de respuesta
Una curva de respuesta permite visualizar la relación entre la inversión y el resultado incremental de un solo canal, suponiendo que la inversión de todos los demás canales permanece igual.
Meridian genera esta curva en diferentes niveles de inversión para un canal. Aumenta o disminuye la inversión histórica del canal según un factor (por ejemplo, desde 1.2 veces la inversión histórica) y estima el resultado incremental en cada nivel. Durante este ajuste, se conserva la distribución histórica de la inversión en el tiempo y la ubicación geográfica (el patrón del período de publicación). Este proceso revela el punto en el que un canal se satura y la inversión adicional genera retornos decrecientes.
Consideraciones para interpretar el ROI y las curvas de respuesta
- Efectos rezagados: En la definición del ROI se utiliza como denominador el costo total de un canal durante un período específico. El numerador es el resultado incremental acumulado durante el mismo período. Este numerador incluye los efectos rezagados de los anuncios que se publicaron antes de ese período, pero excluye los efectos futuros de los que se publicaron durante ese período. En un período prolongado (por ejemplo, de un año), esto tiene un impacto menor en la estimación del ROI. Sin embargo, en períodos más cortos, el efecto puede ser más significativo.
- Riesgo de extrapolación: Para calcular el resultado incremental, el modelo debe estimar qué habría sucedido si la inversión hubiera sido cero. Si siempre invertiste de manera constante en un canal, el modelo tendrá pocos datos para este caso de inversión cero y deberá extrapolarlos en función de las suposiciones aprendidas. El riesgo de extrapolación también afecta la estimación del resultado incremental para los puntos de la curva de respuesta superiores a la inversión histórica, y el riesgo aumenta cuanto más se alejan los puntos de este valor.
Apéndice matemático
En esta sección, se describe cómo Meridian define los principales estimandos de interés, incluidos el resultado incremental, el ROI, el ROI marginal y las curvas de respuesta. Estas cantidades se definen con resultados potenciales y datos contrafácticos, que son el lenguaje de la inferencia causal.
Con definiciones claras de los estimandos, puedes revisar las suposiciones que se requieren para que el MMM proporcione una inferencia válida. Esas suposiciones ayudan a garantizar que el modelo realmente pueda estimar tales cantidades. Si no se cumplen las suposiciones, las estimaciones pueden estar muy sesgadas.
Te recomendamos que definas claramente los estimandos causales y las suposiciones requeridas para cualquier metodología de MMM. Si esto no se hace, es probable que los resultados del modelo se malinterpreten. Aún más importante, ignorar las suposiciones requeridas puede hacer que el análisis carezca prácticamente de sentido debido a un sesgo subyacente grave.
Las definiciones de la siguiente sección no dependen de ningún aspecto de las especificaciones del modelo Meridian. Las mismas definiciones se pueden aplicar a cualquier MMM. Definir el estimando causal es fundamental para cualquier análisis de MMM, de modo que los resultados sean interpretables y se pueda determinar si un modelo en particular es adecuado para el análisis y bajo qué suposiciones.
Resultado incremental
Comenzaremos con el resultado incremental, ya que sirve como base para el ROI, el mROI y las curvas de respuesta.
Framework de inferencia causal detrás del resultado incremental
Meridian mide el efecto causal que tienen las variables de tratamiento sobre el resultado.
El resultado suele ser los ingresos, pero cuando el KPI no refleja los ingresos y los datos de revenue_per_kpi no están disponibles, Meridian define el resultado como el KPI en sí.
Para definir el resultado incremental, usamos el framework de inferencia causal. En la inferencia causal, es común ver notaciones como \(Y^{(1)}\) e\(Y^{(0)}\) , que representan resultados potenciales en situaciones contrafácticas de tratamiento y control. Meridian es similar, pero un poco más complejo, ya que las situaciones contrafácticas de tratamiento y control son arrays tridimensionales en las variables geográficas $g$, temporales $t$ y de tratamiento $i$. Denotamos las situaciones contrafácticas de tratamiento y control como\(\left\{x^{(1)}_{g,t,i}\right\}\) y \(\left\{x^{(0)}_{g,t,i}\right\}\), respectivamente. Además, los resultados potenciales son un array bidimensional en todas las ubicaciones geográficas y períodos. Denotamos los resultados potenciales en las situaciones contrafácticas de tratamiento y control como\(\overset\sim Y_{g,t}^{\left(\left\{ x_{g,t,i}^{(1)} \right\}\right)}\)y \(\overset\sim Y_{g,t}^{\left(\left\{ x_{g,t,i}^{(0)} \right\}\right)}\), respectivamente.
La siguiente expresión sería fundamental para decidir entre las distintas situaciones contrafácticas:
Sin embargo, esta cantidad no es observable, ya que no es posible observar el resultado potencial en ambas situaciones contrafácticas. A lo sumo, solo se puede observar una de las situaciones contrafácticas. En cambio, para cualquier par de situaciones de tratamiento contrafácticas, \(\{x^{(1)}_{g,t,i} \}\) y\(\{ x^{(0)}_{g,t,i} \}\), define el resultado incremental de la siguiente manera:
Aquí, \(\{z_{g,t,i}\}\) denota los valores observados para un conjunto de variables de control. Esta notación abreviada se usa para indicar que la expectativa es condicional a que las variables de control aleatorias tomen esos valores. Con un modelo de regresión de MMM y un conjunto de variables de control seleccionadas cuidadosamente, esta expectativa condicional es estimable. Para obtener más información, consulta Cómo estimar el resultado incremental utilizando una regresión.
Por lo general, la suma se realiza con \(g=1,\dots G\) y \(t=1,\dots T\), pero también puedes definir el resultado incremental para cualquier subconjunto de estos valores.
Situaciones contrafácticas que se usan en Meridian
Si bien incremental_outcome ofrece suficiente flexibilidad para considerar cualquier situación contrafáctica, Meridian usa de forma predeterminada un par específico de situaciones de tratamiento contrafácticas. Dado que el ROI, el mROI y las curvas de respuesta se basan en la configuración predeterminada de incremental_outcome, este par específico es importante.
Meridian permite definir \(\left\{x^{(1)}_{g,t,i}\right\}\) como los valores históricos reales y \(\left\{x^{(0)}_{g,t,i}\right\}\) como idénticos a dichos valores, salvo que todos los valores de una variable de tratamiento específica se establezcan en su valor de referencia. Para los medios pagados y orgánicos, los valores de referencia equivalen a cero. En el caso de las variables de tratamiento que no son de medios, el valor de referencia se puede establecer en el valor mínimo observado de la variable (opción predeterminada), en el máximo o en un número de punto flotante proporcionado por el usuario.
Para una variable de tratamiento determinada \(q\), el resultado incremental se define de la siguiente manera:
\[\text{IncrementalOutcome}_q = \text{IncrementalOutcome} \left(\Bigl\{ x_{g,t,i} \Bigr\}, \Bigl\{ x_{g,t,i}^{(0,q)} \Bigr\} \right)\]
Aquí ocurre lo siguiente:
- \(\left\{ x_{g,t,i}\right\}\) son los valores de tratamiento observados.
- \(\left\{ x_{g,t,i}^{(0,q)} \right\}\) denota los valores de tratamiento observados para todos los tratamientos, excepto el tratamiento \(q\), que se establece en su valor de referencia \(b_q\) en todas partes. Más específicamente:
- \(x_{g,t,q}^{(0,q)}=b_q\ \forall\ g,t\)
- \(x_{g,t,i}^{(0,q)}=x_{g,t,i}\ \forall\ g,t,i \neq q\)
Ten en cuenta que la situación contrafáctica de los medios (\(\left\{ x_{g,t,i}^{(0,q)} \right\}\)) podría no estar representada realmente en los datos. Si esto sucede, se requiere realizar una extrapolación basada en los supuestos del modelo para inferir el resultado contrafáctico.
ROI
El ROI de un canal de medios pagados \(q\) se define de la siguiente manera:
\[\text{ROI}_q = \dfrac{\text{IncrementalOutcome}_q}{\text{Cost}_q}\]
Aquí, \(\text{Cost}_q\) es el costo del canal de medios pagados \(q\) sumado en todas las ubicaciones geográficas y todos los períodos.
Ten en cuenta que la definición del ROI utiliza como denominador el costo total de un canal durante un período específico. El numerador es el resultado incremental acumulado durante el mismo período. Este numerador incluye los efectos rezagados de los anuncios que se publicaron antes de ese período, pero excluye los efectos futuros de los que se publicaron durante ese período. En un período prolongado (por ejemplo, de un año), esto tiene un impacto menor en la estimación del ROI. Sin embargo, en períodos más cortos, el efecto puede ser más significativo.
Curvas de respuesta
Cuando se generaliza la definición de resultado incremental, la curva de respuesta para el canal de medios pagados \(q\) se expresa en una función que devuelve el resultado incremental como una función de la inversión en el canal \(q\):
\[\text{IncrementalOutcome}_q (\omega \cdot \text{Cost}_q) = \text{IncrementalOutcome} \left(\left\{ x^{(\omega,q)}_{g,t,i} \right\}, \left\{ x^{(0,q)}_{g,t,i} \right\}\right)\]
Aquí, \(\left\{ x^{(\omega,q)}_{g,t,i} \right\}\) denota los valores de medios observados para todos los canales, excepto el canal \(q\), que se multiplica por un factor de \(\omega\) en todas partes. Más específicamente:
- \(x^{(\omega,q)}_{g,t,q}=\omega \cdot x_{g,t,q}\ \forall\ g,t\)
- \(x^{(\omega,q)}_{g,t,i}=x_{g,t,i} \forall\ g,t,i \neq q\)
ROI marginal (mROI)
El ROI marginal (mROI) del canal de medios pagados \(q\) se define de la siguiente manera:
Aquí, \(\delta\) es una cantidad pequeña, como \(0.01\).
Ten en cuenta que las definiciones de curva de respuesta y de ROI marginal suponen implícitamente un costo constante por unidad de medios que es igual al costo promedio histórico por unidad de medios.