Sobre a MMM como uma metodologia de inferência causal

Considere as seguintes generalizações sobre a Modelagem de Marketing Mix (MMM) como uma metodologia de inferência causal:

• A MMM é uma ferramenta de inferência causal para estimar o impacto da alocação e do nível de orçamento de publicidade no KPI. Os insights derivados da MMM, como o ROI e as curvas de resposta, têm uma interpretação causal clara, e a metodologia de modelagem precisa ser adequada para esse tipo de análise.

• A estrutura de inferência causal tem benefícios importantes, que também são fundamentais em qualquer análise de MMM válida e interpretável:

  • O ROI e outras estimativas causais são claramente definidos usando a notação de resultados potenciais, que é intuitiva e matematicamente rigorosa.

  • As proposições necessárias podem ser determinadas e transparentes. Todos os modelos exigem proposições para dar estimativas válidas sobre os estimadores causais.

• É de conhecimento geral que os experimentos aleatórios são considerados ideais para estimar efeitos causais. No entanto, a MMM é um exemplo de inferência causal com base em dados de observações.

• Ela tem vantagens importantes em relação aos experimentos:

  • No caso da publicidade, muitos designs experimentais exigem dados individuais do usuário que não atendem aos padrões modernos de privacidade. A MMM usa dados de observações em um nível agregado que protege a privacidade.

  • Muitas vezes, é difícil fazer experimentos devido ao custo e à praticidade. Os dados de observações, por outro lado, são fáceis de ser coletados.

  • Os experimentos geralmente são criados para estimar uma quantidade específica. Na publicidade, por exemplo, um experimento geográfico pode calcular o ROAS de um canal específico, como a TV. Um modelo de inferência causal, como a MMM, pode oferecer muitos insights (por exemplo, o ROI de cada canal de mídia, curvas de resposta completas e alocação de orçamento) sem precisar de um design experimental complexo e rigoroso que talvez seja inviável.

Proposições testáveis e não testáveis

Como a MMM se baseia em dados de observações, ela requer proposições estatísticas que não são necessárias para a maioria dos experimentos. Essas proposições podem ser categorizadas como testáveis e não testáveis.

Por que essas proposições são importantes do ponto de vista prático? Vários modelos podem ser adequados e ter poder preditivo, mas oferecer resultados diferentes de ROI e otimização, dificultando a escolha do melhor modelo.

Proposições não testáveis

• Uma condição conhecida como troca condicional é a principal suposição não testável necessária para que um modelo de regressão da MMM ofereça resultados precisos de inferência causal. Essa condição não pode ser testada porque não há uma maneira estatística de determinar a validade dela com base apenas em dados de observações.

• Em geral, a troca condicional significa que a variável de controle:

  • Inclui todas as variáveis de confusão, que afetam de maneira causal a execução de mídia e o KPI.

  • Exclui variáveis mediadoras, que estão no caminho causal entre a mídia e o KPI.

• É possível usar um gráfico causal para justificar a proposição de troca condicional. Ele precisa ser criado com base nos conhecimentos de domínio de especialistas, porque não há um teste estatístico para determinar a estrutura correta do gráfico com base apenas em dados de observações.

• Na verdade, a proposição de troca nunca é completamente alcançada. O princípio clássico afirma que "todos os modelos estão errados, mas alguns são úteis".

Proposições testáveis

• As proposições testáveis incluem tudo relacionado à estrutura matemática do modelo. Considere o seguinte:

  • Como os efeitos da mídia estão representados no modelo, incluindo efeitos de defasagem e retornos decrescentes?

  • Como as variáveis de controle são estimadas? As transformações não lineares são necessárias?

  • Como a tendência e a sazonalidade são estimadas?

• As proposições testáveis podem ser avaliadas até certo ponto pela qualidade das métricas de ajuste, incluindo métricas preditivas (como o R ao quadrado fora da amostra). No entanto:

  • A qualidade das métricas de ajuste não explica completamente a adequação do modelo para inferência causal. É provável que o melhor modelo para inferência causal e para previsão sejam diferentes.

  • Quanto mais modelos candidatos você comparar, maior será o risco de overfitting. Por exemplo, o modelo ideal não é aquele que parece ter o melhor ajuste fora da amostra.

  • Não há um valor específico para o R ao quadrado ou outras métricas que torne um modelo ideal ou não. Um modelo com 99% de R ao quadrado fora da amostra ainda pode ser inadequado para inferência causal.

Conclusões

Não há uma solução definitiva para a MMM, que segue os princípios da inferência causal com base em dados de observações. Recomendamos que todos os profissionais da MMM pensem de forma crítica sobre ela em uma estrutura de inferência causal, independente de usarem o Meridian ou qualquer outra solução. O objetivo do Meridian é esclarecer o que é a MMM, como ela funciona e como interpretar os resultados.