当分组结论与总体结论方向相反时,优先怀疑的不是数据本身,而是分母口径。先确认每个分组的分母是否来自同一统计范围、同一时间窗和同一去重规则,再决定是修正结论还是保留分歧。缺少完整数据或权限时,你仍可以完成一项最小动作:把每个分组的分母来源写成一行可核对的说明,并标出无法验证的部分。
分组与总体方向相反,通常被称为辛普森悖论式现象。它不必然意味着计算错误,也不必然意味着总体结论错误。它成立的前提是:各分组在总体中的占比差异足够大,且分组之间的转化率或留存率差异足够大,两个条件同时满足时,加权方式就会改变方向。
因此第一步不是重算,而是确认三件事:分组是否互斥、分组是否穷尽、总体是否等于各分组的加权合并。如果分组存在重叠,一个人可能被计入两个分组,分母被重复放大;如果分组不穷尽,总体里有一部分流量没有归属,加权结果自然对不上。
分母问题几乎都出在口径不一致。逐项核对以下四项,通常能定位大部分反常:
把这四项写成一张对照说明,即使没有原始数据权限,也能让结论的可信边界变清楚。无法确认的项,标注为待验证,而不是默认一致。
假设某站点按来源分为两个分组,A 组流量大、转化率低,B 组流量小、转化率高,总体转化率介于两者之间。现在把总体按设备再拆一次,如果移动端几乎全部落在 A 组,而桌面端分散在两组,那么按设备分组后,桌面端的表现可能优于总体,移动端可能差于总体,方向与按来源分组时相反。
这个例子的重点不是数字,而是结构:分组维度和总体维度覆盖的人群不同,分母构成就不同。此时真正要问的是,你关心的决策针对哪个人群。如果决策针对移动端体验,就应以移动端分母为准;如果针对整体投放,就应回到总体加权口径。
有一类相反结论与分母无关。如果分组之间的样本量差异极大,小分组的高比率可能只来自极少数事件,波动本身就足以解释方向差异。此时继续拆分母不会带来稳定结论,反而容易在小样本上过度解读。
判断方法很简单:看小分组的事件数是否少到单个事件就能明显改变比率。如果是,先扩样本或延长时间窗,再谈分组结论。另一个反例是分组定义本身在观察期内发生变化,比如统计中途调整了分组规则,那么前后数据不可直接合并,分母核对也无法修复。
没有完整数据或后台权限时,不要停在“数据不足”这一步。可执行的最小动作是:向数据持有方索取每个分组的分子、分母、时间窗和过滤条件四项,而不是索取完整明细。这四项通常足以判断口径是否一致。
拿到后按以下顺序推进:
如果四项仍无法取得,就把结论降级为“在现有口径下成立”,并明确写出不能推出的部分,例如不能推断整体转化率变化,也不能推断某一渠道的因果效果。下一步动作应指向补齐哪一项口径,而不是继续在现有数据上寻找支持性解释。