登录
首页精彩阅读王晔:A/B测试增长黑客利器
王晔:A/B测试增长黑客利器
2016-09-30
收藏


首先非常感谢大家在百忙之中,在工作日来到这里听我们分享,我们想推行的理念是增长黑客,用技术的方法、数据的方法,用我们自己的创意成为公司的超级英雄,帮公司能够快速、低成本、高速的增长。这是我们的一个理念。刚才在我们视频里,还有咱们的Guy和时趣刘老师都给大家做了很多介绍,都提到了AB测试什么样的概念,说是增长黑客的法宝。今天给大家说一下AB测试的概念,因为我搞学术出身,说的东西会略显枯燥。


首先和大家回顾一下增长,以及我们做增长的方法,然后专门讲一讲怎么转化和优化,我们会讲怎么优化转化率,这是对我们增长来说最有意义的一部分。后面就提一提AB测试在优化转化率中的作用。


什么是增长呢?其实有一个比较科学的定义,在连续发生的经济事实变动。有时候业务变高叫增长,业务变低也是增长,叫负增长。我们做的事情是让增长怎么更正向、更大。互联网领域不仅是营收和业务,还包括很多其他在线的指标,比如我们的 PE 、 UV 、访客,还有客单价等概念,如果做口碑营销还要有分享等东西。传统的获得增长的方法很简单,时趣说过了,就是打广告或者地推的活动的方式,大家可能都做过。但是这个问题很明显,成本太高,太贵了,而且不可持续。于是有增长黑客的概念,在我们北京站或者上海站的时候,有很多增长黑客的专家来和大家分享,我们会发现这个概念已经变得越来越深入人心,就是我们会有一个海盗模型,我们把我们的用户来到这个系统里以及最终转化成为我们的营收的过程,把它模拟成一个漏斗,近似漏斗的东西,然后在中间,我们通过快速的实验和分析,在 AARRR 的每个环节,通过AB测试或者其他手段来优化它,然后最终实现增长。

AARRR 模型就是这样的,开始是拉新,拉出来的用户能够成为我们真正的用户。最核心的是留存,来了成为我们用户之后,用我们的产品之后,他能反反复复再用,留在我们这里,这是我们最重要的客户。时趣刚才提到的,忠实用户可以通过口碑、社交、营销的方式进一步扩大你的拉新,以及进一步扩大你的留存。最后是 Revenue 的环节,这是最深的,同时也是效果最明显的,我们留存的用户有一小部分可以转化为付费和消费的用户,这个环节的转化率改变最明显。

转化率优化,从现有的情况来看,是我们获得增长最好的方法,拉新是要花钱的,做口碑营销有时候也要花钱。无论我们做任何形式的增长,可能都要花钱,无非转化和优化是不要花钱,而它是最好的一种获得增长的方法。什么意思呢?其实转化率就是这个意思,当我们拉新,好不容易带来流量,或者在我们已经有的用户群体再做一次营销,让它能够激活,推送消息,送促销券的方式,把它再激活。这些用户无论花多大努力得到,我们摘的玉米棒子,如果没有留存下来、转化下来,那么就会像这样子,我们始终得不到真正的大幅度的增长,我们都会流失掉。

转化率优化想干的事情是我怎么能够把我好不容易唤醒的,好不容易和我的触点重新建立连接,怎么让它有好的体验能够留下,刚才我们的 Guy 提到的我们的产品和业务的目标,要和我们用户喜欢的东西,用户体验想要的东西,能够达成一致。对我们企业来说,我们的目标就是最大化我们的业务,而对于我们的客户来说是通过转化率优化,提升它用户体验,这个地方是最本质的东西。


有了转化率优化,你做的好就可以触达更加全面的客户或者渠道,比如口碑。你可以让你的市场行为更加有效,换句话说,你花的每分钱都可能比原来更有效果。你发现新的有效增长方式,最重要的是提升用户体验,让用户更加愉快,相信这是最值得做的事情。你做转化优化,让激活用户留存更多,你习惯之后,你就持续不断做的。

你的转化率从4%提到5%,你会继续努力想提升到6%,这种持续改进的过程,是一个非常好的体验。说点实际的数据大家就知道,在刚才的AARRR的模型里面,每层都有转化率,比如你新来的用户,如果没有跳出有70%,来的访客有70%转化为真正的访客,来的用户有百分之几到百分之几十真正注册或者登陆,他们会变成你真正意义的用户,他不是来一次用一次,他在网上搜你的一个视频,看一次再也不来了,只有2%、3%的规模用户会留存,会成为你的忠诚用户。这其中又有很小一部分会帮你做口碑营销,最后是转化变现,那可能只有1%,甚至更小。于是我们会发现一个很有意思的现象,最下面,就是最深层的地方,每个用户对你的价值都是很高的,可能100元以上,拉新可能只有几毛钱的价值,在我们任何一层转化率的优化,可能都会给我们带来一定意义上的价值,而且这个价值是和他所处的位置相关的。


我们下面说一下转化率模型大概就知道了怎么优化。这就要提到互联网非常推崇的概念,所谓 MVP 的概念,最小的可用产品,也就是说我们想要做转化率优化,我们做的是迭代的过程,根据用户需求、市场需求,我们做出一个产品、做出一个服务来,能够解决用户最基本的需求,然后我不断的去改进这个产品,让用户的体验越来越好,这个过程就实现了不断从1到2到3到4,用户的转化率会不断提高。但是这里有一个很重要的观念,什么是 MVP ?你首先要知道你解决什么问题。比如婚恋的,你首先要解决的是让陌生男女建立信任关系,然后互相有好感,然后接触,要解决这个问题,然后在这个基础上不断改进体验。不要一开始设计一个漂亮的豪车,先做一个轮子,没有用,做底盘,加壳,也没有用,这样不行。等你完成工作的时候,也许你花了很大的投入,结果最后就没有产生市场的匹配,这是很失败的投资。

另外的方式也是,增长黑客,黑客是我们工程师的思想,我们解决同样需求,不要一开始搞滑板,然后变成自行车、摩托车到汽车,这不是MVP迭代的方式,因为我们产品每次都发生天翻地覆的变化,这样的话,这不是黑客行为,黑客不是做一个产品然后把代码扔了再做另外的,而是下面的方式,我先做基础的可以完成我们任务的车,然后在基础上不断优化。

这个部分是最理论的,如果你们有这个思维,我相信对你们后面的工作有帮助。转化和优化,在我们的工作中,实际上像解方程一样,我们试图改变一些变化,然后最优化、最大化我们的转化率。而这个优化方程它的限制条件可能包括我们有多少钱、有多少人、有多少物,以及我们的市场环境、公司其他的考虑,然后这是我们的限制条件,我们的活动量试图提高转化率,比如我们可以改变产品的设计,比如颜色,我们可以推出心功能或者关闭旧功能,改变用户体验的流程,或者文案布局,我们也可以在运营层面做事,做活动、做补贴,做内容传播,做PR,像社会营销等等这样的事情。可以发现这个优化,其实我们在解决优化方程,我们通过改变产品和运营的变量,试图让我们的转化率越变越高,解这个方程,如果我们在所有条件都已知的情况下,我们算出来最后结果最好。如果你他告诉我用什么产品功能、什么设计、什么样的促销是最好的,但是现实中不允许,不仅不允许,而且面临很大的挑战,就是整个市场环境还有用户和流量的变化很复杂,你没有办法简单的就知道,我现有的产品里面一些细节以及我的运营里面的具体活动到底对我有什么样的影响。

用一个实际的案例, LVB (音)这家公司,一个增长不错的公司,它的创始人、产品经理、技术人员以及运营人画了一张图,用这张图解释为什么要用AB测试,为什么用我们待会儿说的概念。这张图是时许图,展示3个月的时间内 LVB 业务的发展情况,你可以看到业务虽然波动了,但是不断增长,是很好的。但是,增长这件事不重要,重要的是红色的部分,这个红色的时间段,最左边发生什么事?它上线了一个新的产品功能,红色的结束部分是这个功能又给拿下了,所以红色的时间段之内, LVB 有一个特别的功能是对用户开放的,但是从这个图上有一个很大的困惑,我们完全没有办法知道这个产品对我们的业务是有帮助还是没有帮助,是让我们增长还是下降,有可能给我们带来10%的增长,但是我们完全不知道,因为环境变化太复杂。

我们完全不知道这个产品经理提升了10%,他应该升职、应该加薪的,完全不知道。他也有可能给我们带来负5%的增长,有可能对我们有害,那我们就默默的背负了5%的损失。LVB一年营收10亿,如果不知道有5%的损失,我们就白白损失了五千万。所以 LVB 提出一个很重要的概念,我们要用AB测试这样的工具来帮助我们实现我们增长黑客转化率优化。


这是我们 P 出来的图,我们要不断测试,如果我们想到一个 idea ,我们想到改变转化率的想法,我们要去测试它,它实际上是非常简单的逻辑。我们有很多用户、访客来到我们产品页面,我们分组,分 ABC 三组,然后对比不同用户体验了不同的版面之后他们的转化率,选择转化率最高的东西上线,这样我们就可以用AB测试的方法让转化率不断提升。有很多优秀的公司其实现在天天在使用这个技术,如果大家有兴趣,也在自己的公司里付出这样的时间。

优秀的公司普遍用AB测试,他们具体做什么事情呢?首先是所谓的灰度发布,当我进行产品改版的时候,我可以首先先发布一个很小一部分用户,先让我10%的用户测试新版本,其他的90%的用户用老版,体验新版本的用户看他们是不是购买更多或者更活跃,如果用户不喜欢,我们就可以关闭这个试验,一键返回原版本,这样就不会有风险。

第二件事是尝试多种方案一起在线跑,没有AB测试这种东西的时候,我们其实面对用户的产品都是一个版本,就是同样的,千篇一律,每个人看到的东西都是一样的。缺点是每次改版只能尝试一个改版对比老的改版有什么变化,有AB测试可以同时上线10个版本或者100个版本,可以高效、快速知道各种各样的功能、各种各样的设计,到底哪个用户更喜欢。

最后是精细化运营,也就是说有AB测试的工具,我们可以细致的知道我们的产品里面具体的细节环节对用户是什么影响,一个按钮是红色还是绿色用户点的更多,你的文案是点击领取大奖还是加入购物车可能会引起更多的购买,这些细节都需要尝试起来。如果没有的话,我们一次改版改了很多东西,我并不知道哪个细节改动到底对我们有影响。最后是用技术、数据实际来做,这是非常好的一步,很严谨、高效的推动。要用AB测试来实现刚才所做的事情,其实也很简单,它和我们使用其他的第三方工具一样,接入 SDK ,设计我们想要迭代的东西,把我们的产品迭代上线,放流量进来,看数据反馈。如果数据反馈不好,转化率下降,我们就打回重做。如果转化率提升有效果,就正式发布,我们提出这个 idea 。


下面这一更枯燥,但是是很多优秀公司总结出来的经验。AB测试效果往往惊人,很多小的改动就可以对 KPI 造成巨大影响。我们有一个客户是上市的教育公司,他们把自己官网上的文案改了,从立即注册变成马上注册还是现在注册,只改了两个字,提升了30%的注册率,有时候很小的改动可能带来很大的影响。

但是大多数不会带来什么影响,这也是比较尴尬的地方,可能做100个试验里面,只有三五个带来巨大影响,大部分没有用。特别是对耐心测试的补充,看上去出人意料的图表,通常都是因为数据统计错了。每个产品都是不一样的,你复制他人的经验也许没有用,如果让京东抄袭阿里,有可能是灾难性的后果。但是任何能够加速用户响应时间的改动,都可以给 KPI 带来提升。同学们,如果你们的公司里有技术、有工程师说,我可以让我的H5页面加载变快或者 App 响应变快,无论如何支持他们做,这是一定有正向效果的。

另外点击率容易提高,但是流失率很难改进。不知道大家有没有在一些软件下载的网站去下载软件,在那个页面里面经常遇到一个有意思的现象,下载软件按钮很难找,但是下载大礼包或者病毒的按钮特别大、特别好找,你想提高点击率可以做这个事情,但是对产品没有实际影响。你应该考虑怎么把你的产品设计的符合提高用户的效率,让他们更好的找到他们要的商品或者他们要的信息,使他们更好的响应,这才是最重要的,这可以用热图功能。

尽量不要做复杂的大改动,这种事情往往是浪费时间和精力的。Facebook有60人的团队做过一个大改版,结果花了半年时间,后来 VP 都离职了,因为AB测试结果很糟糕,还不如尽量做很多、很多小的实验,这样你的转化率会一点一点进步。如果你的用户数量很小,AB测试也帮不了,统计学没有意义。如果只有两个人,一个人说好、一个人说坏,实际上你不知道到底是好还是坏。以往我的分享会讲很多案例,比如帮哪个电商提高多少营收之类的,但是后来我觉得很无聊,所以这次就少讲一点案例。尽量把案例怎么做讲清楚,这样有助于大家要尝试可以尝试。


这是我们的一个客户滴滴专车,他尝试招募自己的滴滴专车司机,会设计一些页面招司机广告一样。首先他有一个实验背景,他希望通过改进自己的广告页,给用户传达不同的信息,提升司机的注册率。最左边是他最早的设计页面,他传递的是滴滴司机是高尚而且白领的工作,这个页面效果并不是很理想。可能最后我们分析的结果是有很多打车的人或者是乘客喜欢这个图,但是司机对它没有什么感觉。

第二个是新的广告页面,每天跑一单,油钱轻松转,这个页面提升了18%的注册率,好处是可以愿意用车赚零钱的人做滴滴司机。最后一个页面效果最好,专门的车主招募,因为第二个页面也有一个问题,可能我们都有车,我们就会点这个,点进去发现要上传行驶证、驾驶本,好麻烦,所以没有注册成功。

第三个车主招募是有目的性通过AB测试,达到的效果,一个激活接单司机只要89元。做AB测试之前要200元。有了这样的好的效果,滴滴也可以更好的理解自己的用户群,他可以知道真正的司机就是想做我的司机,把我看作一个招聘的工作,而不是说业余的生活,对用户的理解更深刻。


再一个案例是平安证券公司平安证券会有面对用户的 App ,让用户可以炒股、买东西。他们原来也是非常传统的公司,左边是他们原来的登陆页面,很熟悉,需要输入资金号或者身份证号,或者在平安银行里面注册,然后你才可以开始使用。他就觉得这样的转化率不是很高,很多用户在这个层面,好不容易上来都流失了。他就希望我上线像互联网公司一样的第三方登陆,微信或者是手机动态密码登陆,这个是很普及的,这是互联网公司常做的,他希望这样提高用户的转化率。他会把这个新方案分配给5%的用户,首先看有没有 bug ,会不会登陆不了。没有 bug ,看指标,指标都很好,用户体验上来了,然后再发布给10%,没有问题再提到20%,没有问题再提到50%,然后全面布局。这个流程是很多大公司会走的推广流程,用户对新功能反响很高,次日留存等明显提升。


再说一个案例,也是一个大企业的案例,中国移动。中国移动有一个困惑,中国移动4G 流量管家,也是几千万用户都会下载的,用户可能迫于各种各样的原因,无论什么原因下载之后,其实使用留存并不是太高,所以他希望能够推出一些新的产品功能刺激用户更多的留存在它的 App ,更多使用。他推出短信诈骗识别功能,你收到一个短信,你可以点击这个功能,来判断这个短信是不是诈骗,是很有意思的功能。

怎么用?用我们要验证这个东西是不是可以提升用户的活跃和留存。短信验证要告诉大家不是完全靠算法验证,很多时候靠人工。最早的时候先上线给2%的用户,然后2%的用户只需要大概几个客服就可以支持全国的用户,数据很不错,推到了20%,这样需要几十人,数据还是很不错,我记得50%的时候,他得出结论,这个功能入口点击提升10.1%,真的活跃了。而且七日留存提升了3.2%,这是非常大的提升。在50%的时候,他们应该已经有几百个客服,推到100%有上千人推动这个功能。通过灰度发布,不仅验证了核心业务数据的转化率增长,而且确保新功能的平稳发布。

今天我的案例很少,基本没有讲其他东西,希望大家理解,在一个企业的运作之中,AB测试、转化率和实际的落地以及转化率的优化是怎么做的。我们是专门做AB测试云服务的,国内唯一从事前后端的专业平台。我们平台有很好的优势,我们有些可视化编辑以及方便的 SaaS 界面,这样非技术人员也可以很好的使用我们的产品,产品经理自己就可以做AB测试,或者市场人员都可以做。除此之外,我们提供专业的业务解决方案,帮你诊断你的 App 或者广告页有什么可以改进的,可以AB测试优化的地方,最后还有全面的客户成功服务。 Uber 、Google 或者携程这些优秀公司的AB测试最佳实践可以带到大家的工作中去,我们业服务了国内大大小小各种各样的企业,传统企业、互联网的公司,墨迹天气、中国银行这些。

本文为吆喝科技CEO王晔在增长黑客——互联网时代的超级英雄蛇龙活动中的分享,CDA数据分析师已获得授权,其他转载请联系作者。

对数据分析感兴趣的同学可以参加CDA数据分析培训,十一优惠进行中:



数据分析咨询请扫描二维码

客服在线
立即咨询