改版上线一周，转化率从5%升到6%。这个涨幅算改版的功劳吗？直接拿改版前一周和改版后一周比较，答案看似是“是”，但结论很可能站不住。A/B测试和普通前后对比的核心区别，不在于统计公式复杂多少，而在于能不能把变化归因于改动本身：A/B测试通过随机分组设置同期对照，让两组在同一时间段内只差一个变量；前后对比没有对照组，时间趋势、外部事件和样本构成变化都会混进结果，通常只能看到“变了”，难以证明“因为改动而变”。

先看两种方法各自在算什么

普通前后对比的结构是“同一对象，两个时间点”：改动前测一次指标，改动后再测一次，用后值减前值，或用（后值－前值）÷前值算变化幅度。它的输入是两段历史数据，输出是一个变化量。问题在于，这两段数据之间隔着时间，而时间里可能同时发生了很多事。

A/B测试的结构是“同一时间，两组对象”：把用户、广告计划或活动人群随机分成实验组和对照组，实验组接受改动，对照组保持原样，同期观测同一指标，比较两组差异。它的输入包括随机分组方案、样本量、指标口径和观测周期，输出是两组指标的差异及其是否具有统计显著性。随机化让两组在期望上可比，同期对照则让季节、促销、竞品动作等外部因素同时作用于两组，从而被差异比较抵消掉。

前后对比的三个混淆来源

第一是时间趋势。业务指标本身有季节性、周内波动和自然增长。比如月末转化率通常高于月初，拿月初做基线、月末做结果，涨幅里就混入了日历效应。

第二是外部事件。促销季、竞品降价、渠道投放加量、平台规则调整，都可能与改版同时发生。前面那个“5%升到6%”的例子，如果同期正好在促销，涨幅到底来自改版还是促销，前后对比无法拆分。

第三是样本构成变化。改版后流量来源变了，新用户占比升高或降低，即使产品体验没变，整体转化率也会波动。前后对比默认“前后两批人差不多”，但这个假设往往不成立。

A/B测试的四个关键机制

随机分组是因果归因的基础。随机分配让实验组和对照组在年龄、渠道、活跃度等已知和未知特征上大致均衡，两组差异才更可能来自干预。

同期对照解决时间混淆。两组经历相同的日历、相同的促销环境，外部冲击被共同承受，比较时自然抵消。

样本量与显著性决定结论是否可靠。样本太小，几个用户的偶然差异就能让指标上下跳动；样本足够大，还要看差异是否超出随机波动范围。实践中通常先估算所需样本量，再决定实验周期，避免“跑两天看到涨了就收”。

单一变量原则保证归因清晰。一次只改一个关键因素，比如只改按钮文案，不同时改价格和页面布局。多变量同时上线，即使结果显著，也说不清是哪个改动起了作用。

三类场景下的结论差异

产品改版：模拟情境中，某功能入口改版后一周转化率从5%升至6%。前后对比会把1个百分点全记在改版头上；若同期随机留一半用户用旧版，发现实验组6.0%、对照组5.7%，则改版带来的增量约为0.3个百分点，其余部分来自促销和自然波动。案例为编辑模拟，非真实业务数据。

投放素材：新素材上线后点击率上升，前后对比容易归功于素材；但同期流量池可能从低竞价渠道换到了高意向人群。A/B测试在同一投放周期内随机分流，才能把素材差异和人群差异分开。

运营活动：活动上线后复购率提高，前后对比无法排除“本来就在旺季”的可能；同期设置未触达活动的对照组，才能估计活动的净增量。

电销场景中也有类似的分组检验思路。CDA持证人宋利宝在2026年6月发布的专访中提到，团队针对件均偏低的问题做了AB测试，分两组进行不同营销，实验组通过增加销售余额环节提高件均，一段时间后观测两组变化，最终确定逻辑是否可行¹。这里同时设置两组、施加不同干预、在同一观测周期内比较两组变化，而不是只看改动后单组指标有没有上涨，正是A/B测试区别于普通前后对比的地方。

什么时候前后对比仍可参考

前后对比并非一无是处。当外部环境高度稳定、指标波动很小、改动影响足够大，且没有其他同步变化时，它可以作为快速筛查。比如内部工具的操作耗时，在人员、任务类型和系统环境都没变的条件下，前后测一次能提供方向性参考。但只要涉及用户行为、市场竞争或季节性强的指标，前后对比的归因能力就明显不足，此时应优先考虑随机对照设计。

四个常见误判

样本量不足：实验跑了一天就下结论，组间差异可能只是随机噪声。应事先估算样本量，并让实验覆盖完整的业务周期。

分组污染：同一用户既看到实验版又看到对照版，或两组通过社交、设备等渠道互相影响，对照就失效了。需要检查分流机制和用户唯一标识。

指标选择偏差：只挑对自己有利的指标汇报，或指标口径在实验期间被改动。应提前锁定主指标和护栏指标，保持口径一致。

多变量同时改动：页面、价格、文案一起换，结果显著也无法拆解贡献。若确实要测多个因素，应使用多因素实验设计，而不是把多个改动塞进一次对比。

把判断变成可检查的动作

下次遇到“改版后数据涨了”的结论，先问四个问题：有没有随机分组？有没有同期对照？样本量和实验周期是否足够？指标口径前后是否一致？这四个问题答不上来，前后对比就只能当线索，不能当证据。若要系统补齐随机化、假设检验、样本量与指标口径，CDA Level I的统计分析模块覆盖描述统计、分布与参数估计，Level II的统计分析方法 I、II 进一步衔接统计推断、回归与多变量方法；配合一次模拟实验练习，把分组方案、样本量估算、检验结果和业务解释写成一份可检查的分析报告，比单纯记住“A/B测试更好”更有用。具体下一步：选一个手头正在做的改动，先写出实验组、对照组、主指标和观测周期四行字，再判断它是否具备做A/B测试的条件。

延伸阅读

[1] CDA持证人专访：宋利宝谈电销行业数据运营与数据分析实践