注意:这是本文的第一部分。您可以在这里阅读第二部分。
A/B测试,又称受控实验,在工业上被广泛应用于产品上市决策。它允许科技公司用一个用户子集来评估一个产品/特性,从而推断该产品可能如何被所有用户接收。数据科学家处于a/B测试过程的前沿,a/B测试被认为是数据科学家的核心能力之一。数据科学采访反映了这一现实。面试官通常会向应聘者提出a/B测试问题以及商业案例问题(也就是指标问题,产品感觉问题),以评估应聘者的产品知识和推动a/B测试过程的能力。
在本文中,我们将采用面试驱动的方法,将一些最常见的面试问题与A/B测试的不同组成部分联系起来,包括选择测试思路、设计A/B测试、评估测试结果以及做出是否进行测试的决定。具体来说,我们将讨论7最常见的面试问题和答案。
在你开始阅读之前,如果你是一个视频人,请随意查看这个YouTube视频,以获得这篇文章的缩略版本。
a/B测试是一个强大的工具,但并不是每个想法都是通过运行测试来选择的。有些想法的测试成本可能很高,处于早期阶段的公司可能有资源限制,因此对每个想法都运行测试是不现实的。因此,我们首先要选择哪些想法值得测试,特别是当人们对改进一个产品有不同的意见和想法时,有许多想法可以选择。例如,UX设计师可能建议更改一些UI元素,产品经理可能建议简化结帐流程,工程师可能建议优化后端算法,等等。在这种情况下,涉众依赖数据科学家来推动基于数据的决策。一个面试样本问题是:
在电子商务网站上,有几个想法可以增加转化率,比如允许多项商品结账(目前用户可以同时结账一项商品),允许非注册用户结账,改变“购买”按钮的大小和颜色,等等,你如何选择投资哪个想法?
评估不同想法价值的一种方法是使用历史数据进行定量分析以获得每个想法的机会大小。例如,在投资于电子商务网站的多项商品结账之前,通过分析每个用户购买的多项商品的数量来获得影响的上限大小。如果只有很小比例的用户购买了一个以上的商品,那么开发这个功能可能就不值得了。更重要的是调查用户的购买行为,以了解用户为什么不同时购买多个商品。是因为选择的项目太少了吗?是不是物品太贵了,他们只能买得起一个?是不是结账过程太复杂了,他们不想再经历一次?
这种分析提供了关于哪个idea是a/B测试的好候选者的方向性见解。然而,历史数据只告诉我们过去是如何做的。它无法准确预测未来。
为了获得对每个想法的全面评价,我们可以通过焦点小组和调查进行定性分析。从焦点小组收集的反馈(与用户或有洞察力的用户进行有指导的讨论)或调查中的问题提供了对用户痛点和偏好的更多见解。定性和定性分析相结合可以帮助进一步的想法选择过程。
一旦我们选择一个想法来测试,我们需要决定我们想要运行一个测试的时间,以及如何选择随机化单元。在这一节中,我们将逐一讨论这些问题。
要决定一个测试的持续时间,我们需要获得一个测试的样本大小,这需要三个参数。这些参数是:
经验法则是,样本量n大约等于16(基于α=0.05和β=0.8)乘以样本方差除以δ平方,而δ是治疗与对照的差值:
如果您有兴趣了解我们如何提出经验法则公式,请查看此视频,以获得一步一步的演练。
在面试过程中,你不需要解释你是如何得出这个公式的,但你需要解释我们如何获得每个参数,以及每个参数如何影响样本量。例如,如果样本方差较大,我们需要更多的样本,如果增量较大,我们需要更少的样本。
样本方差可以从现有数据中得到,但我们如何估计δ,即治疗与对照之间的差异?
实际上,我们在进行实验之前并不知道这一点,这就是我们使用最后一个参数的地方:最小可检测效应。在实践中,这是最小的差异。例如,我们可以考虑将收入增加0.1%作为可检测到的最小效应。在现实中,这个价值是由多个利益相关者讨论和决定的。
一旦我们知道了样本量,我们就可以通过样本量除以每组的用户数来获得运行实验的天数。如果这个数字少于一周,我们应该运行实验至少七天,以捕捉每周的模式。通常建议运行两周。当涉及到为测试收集数据时,多总是比不够好。
通常,我们通过随机选择用户并将每个用户分配到控制组或治疗组来划分控制组和治疗组。我们希望每个用户都是独立的,控制组和治疗组之间没有干扰。然而,有时这种独立性假设并不成立。当测试社交网络,如Facebook、Linkedin和Twitter,或双边市场,如Uber、Lyft和爱彼迎时,可能会发生这种情况。一个面试样本问题是:
X公司测试了一个新功能,目标是增加每个用户创建的帖子数量。他们将每个用户随机分配到控制组或治疗组。该测试在帖子数量方面以1%的优势获胜。在新特性向所有用户推出后,您预计会发生什么?会不会和1%一样,如果不是,会多还是少?(假设没有新奇效应)
答案是,我们将看到一个大于1%的值。原因如下。
在社交网络中(例如Facebook、Linkedin和Twitter),用户的行为很可能受到其社交圈中人的行为的影响。如果用户网络中的人(如朋友和家人)使用某个功能或产品,则用户倾向于使用该功能或产品。这称为网络效应。因此,如果我们以“使用者”作为随机单位,并且治疗对使用者有影响,这种影响可能会溢出到对照组,即对照组的行为受到治疗组的影响。在这种情况下,对照组和治疗组之间的差异低估了治疗效果的真正好处。对于面试问题,会超过1%。
对于双边市场(如Uber、Lyft、ebay和爱彼迎):控制组和治疗组之间的干扰也会导致对治疗效果的偏颇估计。这主要是因为控制组和治疗组之间共享资源,这意味着控制组和治疗组将争夺相同的资源。例如,如果我们有一个新产品在治疗组中吸引了更多的驱动程序,那么在对照组中可用的驱动程序就会更少。因此,我们无法准确估计治疗效果。与社会网络不同,在社会网络中,治疗效果低估了新产品的实际利益,在双边市场中,治疗效果高估了的实际效果。
既然我们知道了为什么控制和治疗之间的干扰会导致发射后的效果表现不同于治疗效果,这就引出了下一个问题:我们如何设计测试来防止控制和治疗之间的溢出?一个示例面试问题是:
我们正在推出一个新功能,为我们的骑手提供优惠券。目标是通过降低每次乘坐的价格来增加乘坐的次数。概述一个测试策略来评估新特性的效果。
有许多方法可以解决组之间的溢出,主要目标是隔离控制组和处理组中的用户。下面是几种常用的解决方案,每种方案适用于不同的场景,并且都有局限性。在实际应用中,我们要选择在一定条件下效果最好的方法,也可以将多种方法结合起来,得到可靠的结果。
社交网络:
双边市场:
数据分析咨询请扫描二维码
数据挖掘是现代企业利用数据驱动决策的重要工具。它涉及从大量数据中提取隐藏的、先前未知但潜在有用的信息,依托人工智能、机器 ...
2024-10-23在当前数据驱动的商业环境中,数据分析师的角色变得越来越重要。想要踏入这一领域并取得成功,不仅需要扎实的技术基础,还需要不 ...
2024-10-23数据分析是一个广泛而又精细的领域,它结合了统计学、计算机科学、商业策略以及数据科学等多个学科的知识。这个领域日新月异的发 ...
2024-10-23在现代企业中,数字化管理师扮演着至关重要的角色。他们不仅帮助企业优化资源配置,还推动企业的数字化转型。要成为一名合格的数 ...
2024-10-23大数据专业是一个跨学科的领域,涵盖了数学、统计学、计算机科学与技术等多个学科。随着数据在各个行业中的重要性日益增加,大数 ...
2024-10-23大数据分析师培训教程-2.1 Hadoop入门-Hadoop 1.0 的局限与 Hadoop 2.0(YARN)的革新 Hadoop简介Hadoop 的生态系统HDFS 的原理 ...
2024-10-232024,您是否渴望在数据领域探索更广阔的职业机遇? 数字化时代,数据量级每年都在呈指数级增长。据统计,全球互联网用户每天产 ...
2024-10-21数据科学专业是一门跨学科的综合性学科,涵盖了数学、统计学、计算机科学等多个领域。其核心目标是通过数据的收集、处理和分析来 ...
2024-10-21Python是一种高级解释性编程语言,由Guido van Rossum于1991年创造。凭借其简单易学、代码可读性强和功能强大的特点,Python已经 ...
2024-10-21在当今数据驱动的世界中,选择学习Hadoop已成为许多数据分析师和IT专业人士的必修课。Hadoop不仅是大数据处理领域的核心技术之一 ...
2024-10-21数据开发工程师在当今数据驱动的世界中扮演着至关重要的角色。他们不仅负责数据的采集和处理,还在数据仓库建设、系统开发和数据 ...
2024-10-20在当今快速变化的数字经济时代,数字化转型已经成为企业实现持续增长和竞争优势的关键。数字化转型不仅仅是技术的变革,更是组织 ...
2024-10-19在当今快速发展的科技时代,数字经济已成为全球经济的重要组成部分。选择数字经济专业,不仅能为你打开通往多个行业的大门,还能 ...
2024-10-18学习统计学与大数据分析具有显著的优势,能够帮助你走向高薪岗位。在数字化时代背景下,统计学和大数据分析展现出强大的就业潜力 ...
2024-10-18在当今的数字时代,数据科学与大数据技术专业的就业方向极为广泛,涵盖了多个领域和岗位。随着数据成为企业决策的重要依据,行业 ...
2024-10-18大数据技术与应用领域正在迅速发展,成为现代经济和科技发展的重要驱动力。随着数据量的爆炸式增长,各行各业对大数据专业人才的 ...
2024-10-18在当今数据驱动的商业环境中,数据分析软件已成为企业决策过程中不可或缺的工具。随着数据量的激增和分析需求的复杂化,选择合适 ...
2024-10-18在当今数据驱动的世界中,数据分析已成为许多行业不可或缺的一部分。无论是企业决策、市场营销,还是产品开发,数据分析都能提 ...
2024-10-18数据分析在现代企业中扮演着至关重要的角色,帮助企业在竞争激烈的市场中做出明智的决策。随着数据量的不断增长,企业需要依赖先 ...
2024-10-18CDA(Certified Data Analyst)认证在数据分析领域具有显著的作用,具体包括以下几个方面: 1. 专业技能认可 CDA认证是数据分析 ...
2024-10-17