Hello兄弟姐妹萌好，我是不想努力的小P。今天继续为大家推荐一本好书：《A/B测试：创新始于试验》，推荐指数三星半。（以下简称A/B测试）本书的作者是吆喝科技的创世人王晔，先后任职于NEC、微软、谷歌等国际知名公司，任职期间负责P2P流媒体优化、P4P/ALTO、Google Adwords质量与移动广告新产品等前沿项目的设计、开发及优化工作，积累了大量实验创新的理论和实战经验。

我们如今看到的各种互联网产品的改版以及创新，其背后都离不开试验工作，其中被互联网、移动互联网行业广泛应用的试验方法是A/B测试。A/B测试的本质是试验，作为一种新兴的网页优化方法，通过对比实验增加转化率和注册率，带来产品和运营的创新，以实现各项指标的增长，如今他更是增长黑客所必备的核心思维方式和工作方法。在流量日渐昂贵、精细化运营的大环境下，互联网产品、运营和市场营销人员主要具备A/B测试思维，以测试结果为依据做营销决策，优化页面，提高转化率，迭代产品。

按照小P来划分这本书的结构，可以简单的分成；两部分。第一部分主要讲了试验

以及A/B测试的重要性，其中穿插科普了统计学的相关知识；第二部分列举了很多的A/B测试相关的试验案例。

本书开篇从达尔文雀和现代医学的角度剖析证明，生活处处是试验，试验能帮我们更清楚的了解世界。其实关于A/B测试的重要性小P相信不需要向大家描述很多，因为对本文感兴趣的同学基本也已经认同了A/B测试的重要，那么我们首先来系统的定义下A/B测试。

在互联网产品迭代实验中的A/B测试是指：为了验证一个新的产品交互设计、产品功能或者策略的效果，在同一时间段，给多组用户（一般叫作对照组和试验组，用户的分组方法统计上随机，使多组用户在统计角度无差别）分别展示优化前（对照组）和优化后（试验组，可以有多组）的产品交互设计、产品功能或者策略、算法，并通过数据分析，判断优化前后的产品交互设计、产品功能或者策略、算法在一个或者多个评估指标上是否符合预期的一种试验方法。

A/B测试包含三种特性：预测性、并行性和科学性。随着数据驱动决策的思想在互联网及传统企业中的普及，很多人开始重视A/B测试。然而，有些人只是根据字面意义理解，并没有产生更多的思考，我们来列一下“伪”A/B测试的集中常见形式：

1. 用户分流不科学。比如在不同的应用市场发布不同版本的App，或者在不同的渠道发布不同版本的页面，并进行用户数据对比，都是不科学的。在这里最重要一点是：要得到科学可信的A/B测试试验结果，就必须合理地进行正确的流量分割，保证试验组和对照组里的用户特征是一致的，并且都具有代表性，可以代表总体用户特征。

2. 盲目分层。盲目分层是指所有的试验都放在不同的分层去做，都用正交试验的方法去做。

3. 不考虑试验数据的统计有效性。针对数据统计本书花了一部分来介绍统计学原理方面的知识，有兴趣的同学可以去看一下，还是很有收获的。

举个例子来说，2013年爱彼迎对搜索页进行了改版设计。对于爱彼迎而言，搜索页是

业务流程最基础和重要的页面。因此，能否准确地确定改版的效果是非常关键的。我们在下图能看出搜索页改版前后的变化；新版更多的强调了房源的图片以及标注了房源所在位置的地图。

大家单凭感觉来说，会不会觉得这是一次成功的改版呢？然而，结果在等待了很长的时

间后，A/B测试的结果反馈出新版并没有带来更多的预约。这当然是难以接受的，最后，爱彼迎的分析业务员发现，问题出现在了IE浏览器上：

除了IE浏览器外，其他主流的浏览器的表现都是优于旧版的。这个分析帮助爱彼迎发现了真正的问题：产品改进有很大价值，所以在修复相关的问题后，源于IE的数据也有了2%的增长，所以，验证你所使用的测试系统是否如你所期望的一样工作。如果A/B测试反馈的结果有问题或者过于理想，你应该仔细的检查他。

那么A/B测试在日常工作中怎样落地相应的作战计划呢？我们首先需要制定试验的战略，大致分为以下四步：

第1步，明确战略目标。这一点和小P带着大家简读《黑客增长》是差不多的，我们还是需要首先明确自己公司/产品的北极星指标。

第2步，制定战略路线图。制定北极星之后，各个团队应该如何合理地执行北极星指标呢？这里我们引入一个概念——指标树。指标树就是讲北极星指标进行合理的分解，拆解成各个业务可执行的具体指标，范例如下。在制定实施计划时，我们需要注意每个A/B测试项。

目的试验时间通常是一周到两周。对于流量很大的项目，如果不考虑用户的活跃时间特征，试验周期可能会缩短到一两天。而对于新功能上线的认证，为了排除用户新奇效应、首因效应等干扰因素，一般建议试验周期为一个月，甚至两个月。

第3步，管理试验项目。一般来说，管理项目的人员由产品人员、运营人员、市场人员、加上设计人员和开发人员组成，一个完整的A/B测试实施流程应如下图所示：

第4步，搭建试验的基础设施。最基础的设施包括两个：分流采样和实验结果的统计分析。分流采样就是科学地为A/B测试中的不同对照版本选择和分配用户流量，让不同的用户体验不同的试验方案。统计分析也需要我们具备置信区间估计、统计功效评估和实验数据的实时性才能达到基本的科学性标准。

制定战略过后，就是战略的执行了。在执行的探索阶段，我们主要的工作是收集信息和产生实验想法。一般来说，我们常见的收集实验渠道包括：业务背景、用户心理学等理论、用户行为数据分析、用户调研、行业调研以及实验归档。而在执行的验证阶段，就是一个迭代的过程，他帮助我们检验在探索阶段中产生的那些用户洞察是正确的，以及他们在现实场景中的最佳工作方式。

接下来，我们尝试开始上手一个实验。总体来说，A/B测试试验的创建主要包含下面5个步骤：

第一步。收集数据，从数据中发现存在的问题和机会。

第二步。基于要解决的问题设立试验目标，如提升注册转化率或者新用户留存率。

第三步。找到目标后，设计解决方案，提升试验的假设，如“将注册按钮的文案从立即注册改为获取演示可以带来更多的注册转化数量”。

第四步。进行A/B测试试验部署和上线。

第五步。实验开启后定期观察数据，通过显著性的统计结果来判断试验结果，从而做出科学有效的决策。

创建过后，就正式开始我们的实施。

1. 新建试验

2. SDK集成

3. 在线编辑试验版本

4. 创建优化指标

5. 集成调试

6. 调整流量，运行试验

7. 试验数据判断及结束试验

这样，我们就完整地实施了一次A/B测试。最后我们用书中一个在线教育的经典案

例来看一下，A/B测试是如何具体实操的。

案例：某在线教育企业的产品在移动端的推广效率成为其市场和产品部门非常重视的核心指标之一。为了促进投放H5页面的转化率，进一步提高用户的购买转化，产品部门决定通过A/B测试找到确定的优化方案。

如下图所示，我们可以看到两种设计版本主要的改变在于讲“60万好老师”改为“名师1对1辅导”、将“预约免费试听课”改为“寻找自己的1对1老师”、将“免费试听”改为“快速预约”，其余元素基本保持不变。

在移动端进行广告投放后的试验结果非常有意思，在页面按钮的点击转化方面，原始版本比试验版本高10%。而在后续的实际购买转化方面，试验版本则比原始版本高出9&。对于此试验结果，需要结合自身企业发展阶段来评估最优版本。如果处在产品刚起步阶段，此时需要更多地拉新用户，那么原始版本更好，因为能获得更多潜在用户的资料；如果产品发展到一定阶段，更关注的是用户付费转化和客单价等指标，那么试验版本更好，因为可以带来更多订单。