Meridian GeoX 现已推出。运行地理区域实验以校准 MMM。入门专区

反事实建模

本文档详细介绍了 Meridian GeoX 框架如何利用反事实建模来准确衡量营销干预措施的真实增量。

实验组的平均实验效应

反事实或潜在结果建模是因果推断中的一种常用方法。衡量实验组平均实验效应 (ATT) 或营销干预措施的真实增量影响至关重要。

从数学角度来看，营销干预对转化结果 $ Y $产生的预期增量影响定义如下：

$$ATT = E[Y (1) - Y (0)|D = 1]$$

在等式中：

$ D = 1 $ 表示根据研究地理区域分配规则划分出的实验组地理区域。
$ Y (1) $ 表示这些地理区域在接受干预情况下的潜在结果（事实）。
$ Y (0) $ 表示这些地理区域在未接受干预情况下的潜在结果（反事实）。

在 GeoX 的测试期间，只能观测到 $ Y (1) $ 。$ Y (0) $ 是无法观测的，需通过 GeoX 的建模方法进行预测。

常规运营状态下的机器学习问题

GeoX 的关键假设是：在没有新添加营销干预措施的情况下，所有地理区域都应处于常规运营 (BAU) 状态，即使其地理区域级转化数据可能会出现一些自然波动（例如季节性波动）。

GeoX 利用 BAU 状态构建机器学习模型，通过对照组数据来预测实验组地理区域的转化情况。该模型可以利用对照组地理区域进一步预测反事实指标 $ Y (0) $ ；即使在对实验组地理区域进行营销干预后，这些对照组地理区域仍保持 BAU 状态。因此，该学习问题的损失函数计算公式如下：

$$\sum_{t \in \text{pretest}} \|f(Y_{t, T}(0)) - g(Y_{t, C}(0))\|_2{ }^2$$

在等式中：

$ Y_{t,T} $ 和 $ Y_{t,C} $ 分别表示在时间点 $ t $ ，所有实验组地理区域和所有对照组地理区域的转化向量。该损失函数仅通过对比测试前数据，计算实验组单元与对照组单元之间的残差 L2 范数之和。
函数 $ f $ 通常是手动定义的，取同一时间点 $ t $ 所有实验组地理区域的平均转化量。
可以通过最小化总损失函数，从测试前数据中学习函数 $ g $ 。不同的分析方法得出的$ g $值各不相同。在基于时间的回归 (TBR) 中，$ g $ 是对对照组地理区域平均转化量进行的线性变换。

与典型的机器学习问题类似，有时在损失函数中加入 L1 或 L2 正则化项会非常有意义。

该分析模块的核心在于：GeoX 会预测在未施加任何营销干预的情况下，实验组原本会产生的转化量或收入，并据此估算增量效应。营销干预措施的示例包括启用新广告系列、关停媒体投放和增加支出。

假设及违背假设时的影响

大多数用于建立反事实转化情况的地理区域实验方法（包括 Meridian GeoX）在理论框架上都基于共同的潜在因素结构（Bai，2009 年；Abadie、Diamond 和 Hainmueller，2010 年）。

通俗地说，此框架假设特定地理区域的每日转化量受更广泛且随时间变化的市场力量影响，例如全国性媒体广告系列、季节性因素或宏观经济趋势（这被称为共同趋势假设）。尽管这些力量会影响整个市场，但不同市场的敏感度可能存在差异。例如，冬季可能会导致纽约的零售额骤降，而对佛罗里达州则几乎没有影响。

在此前提下，Meridian GeoX 通过识别实验组和对照组地理区域来设计实验，确保这些区域的综合敏感度相匹配，且彼此之间具有极高的预测能力。这种方法能在设计阶段降低最小可检测效应 (MDE)，从而最大限度地提高测试精度。

如果真实数据违反了研究中“各地理区域间存在共通且稳定的潜在因素结构”这一假设，分析结果可能会出现以下问题：统计功效不足（置信区间过宽且结果无法判定）、校准不当（置信区间过窄，导致假正例率显著高于目标显著性水平 alpha），或存在系统性偏差（反事实预测值持续偏高或偏低）。

共通性：实验组和对照组地理区域应受相同的潜在市场力量驱动，从而确保对照组能可靠地反映实验组在反事实情况下的行为信息。如果各地理区域不具备这些共同的力量，候选设计的拟合效果就会较差，从而无法达到所需的测试前样本外 R 平方阈值（即 DesignConfig 中的 min_r2，默认值为 0.8），或者无法通过测试前 A/A 测试（即在没有营销干预的情况下，从历史数据中检测到了虚假的增量提升）。GeoX 会在设置阶段利用这些预测试检查，筛掉许多拟合效果不佳的设计。
稳定性：在测试前阶段估算的规律应在测试期间继续保持，因为反事实模型是基于测试前数据拟合的，并外推至测试窗口期。

常见的违背假设的情况

常见的违背假设的情况包括：

溢出效应（媒体渗透）：当针对实验组地理区域的营销活动“溢出”到对照组地理区域时，就会发生这种情况。这会污染基准数据，导致营销活动的真实增量影响被低估。
局部冲击：指突发的局部事件（如区域性天气或本地促销活动），这类事件仅影响少数地理区域，从而打破了共同趋势。冲击发生的时机不同，产生的后果也不同：
- 在测试前阶段：冲击会降低模型拟合度，并会在设计阶段的检查中暴露出来，表现为 R 平方检查失败或 A/A 测试失败。这些错误表明测试前数据无法支撑构建可靠的反事实模型；补救措施是选择一个数据更干净的测试前时间范围。
- 在测试期间：在测试进行期间，任何干扰都会改变市场趋势，并导致反事实预测结果失真。请避免在已知存在区域性干扰（例如本地促销活动或重大市场变化）的时间段内安排实验。
缺乏数据支撑（例如超大型地理区域）：当实验组地理区域过于独特或规模庞大（如纽约市或东京）时，其行为特征无法通过任何对照组地理区域的组合来模拟。
地理区域特定趋势（随机游走）：除了所有地理区域共有的市场力量外，某些地理区域还会随着时间的推移，在这些共有力量之上产生各自的偏离趋势。例如，当地业务的逐渐扩张或本地竞争对手的逐步渗透。从统计学上讲，每个此类地理区域都遵循各自的随机游走规律。这些地理区域特有的波动会随时间推移不断累积，而不会相互抵消，导致实验组与对照组地理区域之间的关系无法保持稳定，从而违反了共同趋势假设。即使候选设计方案侥幸通过了测试前 R 平方和 A/A 检查，测试期间累积的漂移也会导致反事实预测产生偏差，进而导致置信区间过窄，并推高假正例率。

在实践中，虽然违背这些假设并非理想情况，但轻微的偏离并不一定会导致结果失效。例如，通勤者往返于不同地理区域之间所带来的少量溢出效应，往往是难以避免的。只要共同的市场信号仍占据主导地位，且实验设计通过了测试前 R 平方和 A/A 检查，其影响通常微乎其微，估算结果在实际应用中依然具有参考价值。

相比之下，在极端情况下，如果各地理区域之间完全没有共同的市场力量，而是各自独立发展（例如，每个地理区域都遵循各自的随机游走规律，如右图所示），那么共同趋势假设将彻底失效，反事实建模也就失去了可靠的理论基础。

这两张折线图展示了模拟出的地理区域级转化趋势。左图：各地理区域遵循共同的趋势，但敏感度各异。右图：各地理区域都遵循各自独立的随机游走规律。

左图：各地理区域遵循共同的趋势，但反应的敏感度各不相同。共同趋势假设成立。右图：各地理区域都遵循各自独立的随机游走规律。共同趋势假设不成立。

安慰剂筛选和 R 平方阈值

Meridian GeoX 通过对安慰剂设计方案进行分析（请参阅稳健推断）来量化不确定性，即通过在对照组地理区域上模拟伪实验，以衡量基准市场的噪声水平。为了确保置信区间的准确性，GeoX 会利用样本外 R 平方检查（AnalysisConfig 中的 min_placebo_r2，默认值为 0.6）来严控安慰剂设计的质量。当对照组市场波动过大或差异过大时，GeoX 会针对有效的安慰剂候选对象不足的情况触发 ValueError，而不是勉强基于匹配度较差的对象来构建置信区间。