数据分析师

您的位置:首页 > CDA原创 > 你觉得每次技术面试志在必得?数据可能要让你失望了。

你觉得每次技术面试志在必得?数据可能要让你失望了。

收藏

来源: CDA数据分析师 | 发布时间:2017-04-21 10:01:30

前言

一般来说,当我们想到面试时,我们会想到当中有有某种规律可循,有完全的准备应该能够取得不错的结果。不过,我们收集的数据证明事实并非如此。

我每天都看几百场技术面试,原因在于几年前,我和几个合作伙伴共同创立了一个面试平台——  interviewing.io ,通过这个平台人们可以匿名地进行技术面试,并在此过程中找到工作。

因此,我可以看到同一个人在不同面试中表现的所有数据。在这些数据中,我发现了个人在面试中表现有很大的波动,这也让我开始对单次面试结果的可靠性提出质疑。

如何获得这些数据

每当面试官和面试者在我们的平台上相匹配时,他们将在可协作的编程环境中通过语音,打字等进行交流,最终进入技术问题的面试。

这些面试问题一般是在电话面试中会遇到的关于后端软件工程的问题。面试官一般来自 Google , Facebook 和 Yelp 等大型公司,同时也有像 Asana , Mattermark , KeepSafe 等关注工程师方面的创业公司。

在每次面试后,面试官会对面试者进行评价打分,其中包括技术能力。技术能力得分为 1 到 4 分,其中 1 为“不怎么样”, 4 为“出色!” 一般达到 3 分就是很不错的成绩了。


你可能会认为这并没有什么大不了的。许多公司都有这类面试数据。

但是我们的数据与众不同之处在于:同一个面试者可以进行多次面试,每个面试都是与不同的面试官或不同的公司。这些整体的数据能有利于更全面的评估每个人的面试水平。

发现#1:你的面试表现很不稳定

我们先从一些显而易见的发现开始。

下图可以看到,每个人形的图标代表在平台上进行过 2 次或多次面试的个人平均技术得分。


y 轴表示面试水平的偏差值,该数值越大,表示面试的表现越不稳定。

正如你所看到的,仅有约 25% 的面试者的面试水平较稳定,其余的面试表现都不稳定。

但是值得注意的是,每个图标代表着平均值。反之你只能根据一个数据值做出决定。这就使事情变得不确定。

同时此图表还有一个更直观的版本,从中你可以更全面的了解每个人在每次面试中的表现。从中得到的结果是难以置信的。

例如:

· 很多技术评分为 4 分的人也得到过 2 分。

· 技术高分者( 3.3 分及以上),仍然能看到分数的波动。

· 技术评分一般(平均在 2.6 分到 3.3 分之间)的面试者的情况也很不明朗。

同时让人好奇的是,是否发挥的不稳定性会根据个人技术分数的高低变化。换而言之,技术低分者是否比技术高分者发挥更为不稳定呢?答案是否定的。当我们对标准差与平均值进行分析时,并没有发现任何相关联系( R 平方〜=  0.03 ),这意味着无论技术水平有多高,每个人在面试时的发挥都是不稳定的。

看了这些数据后,我不仅反思仅根据一次面试的表现就作出招聘决定,其可信度究竟有多高呢?

所以对于面试官来说,在现实中面试他人时,需要尽量避免两件事情——错误的肯定(错误招聘到没有达到标准的人)和错误的否定(拒绝本能胜任此工作的人)。无论哪种情况对于公司的发展都是不利的。

发现#2:过去的表现会影响你某一次面试的发挥

根据以下图表,可以看到所有面试者的平均技术评分的分布情况。


在已知其技术平均分的前提下,为了弄清楚该面试者在面试中失败的几率,我们还需做一些统计工作。

首先,我们根据面试者的技术平均分进行分类(每相差 0.25 分为一个类别)。接着计算每个类别面试者在面试失败(即技术得分为 2 分及以下)的可能性。由于我们的起始数据集不大,我们对数据进行了重新采样。

然后,我们为每个类别创建一个新的“模拟”数据集,并使用这些数据集计算其面试失败率。以下你可以看到重复多 次这个过程所得到的结果:


正如你所看到的,当中的许多类别彼此重叠。这一发现很重要,因为这些重叠告诉我们,这些分类之间可能并不存在统计学上的显著差异(例如在 2.75 分和 3 分之间)。

当然,随着更多的数据的出现,不同组之间的差异可能会变得更加清晰。另一方面,如果我们需要大量的数据来分析失败率的差异,那么也可能表明人们面试发挥在本质上就很不稳定。

虽然我们可以自信地说,频谱的底端( 2.25 分)与顶端( 3.75 分)之间存在显着的差异,但是对于介于两者之间的面试者来说,差异还是很不明显的。

通过以上分布情况,我们试图计算不同分数区间的面试者在单次面试中失败的概率:


面试注定很不乐观了吗?

一般来说,当我们想到面试时,我们会想到应该有某种规律可循。不过,我们收集的数据说明事实并非如此。

很多人有类似的经历——在一次电话面试中被 A 公司拒绝后,但是因为在另一次电话面试中发挥出色,最终可能在六个月后又接到了 A 公司的电话。

尽管每个人都做出了最大的努力,但是面试过程中不确定性也在继续。

但目前值得去做的是尽可能多的掌握不同类别面试的相关数据。事实上,我们的长期目标之一就是通过深入了解这些面试数据,从而基于数据做出一些推论,探寻哪种类型的技术面试的成功几率最大。

与此同时,我倾向于在面试中根据综合表现做出判断要比基于单次表现的意义更大。

综合表现不仅能够有助于弥补偶尔的表现不佳,而且能够淘汰掉那些偶尔在一次面试中表现出众的人,以及那些单纯熟记程序员宝典的人。

我知道在现实中收集综合表现能力的数据有一定难度。但是假设一个面试者的能力与你预期的差别很大,在作出最终决定之前,再给他们一次面试机会或者采用不同的角度考核是很有必要的。


原作者  Aline Lerner
编译 CDA 编译团队
本文为  CDA 数据分析师原创作品,转载需授权


CDA数据分析师

  CDA大数据分析圈是国内第一个汇聚大数据全面资源、数据人必备的APP。CDA整合了近千个大数据相关专业网站及媒体来源,汇聚了数百场国内大数据活动与会议,数千名名技术大牛、行业领袖,以及总结了最系统的优质学习课程资源。在这里,你可每天接触到最新行业资讯、前沿技术干货等信息;你可参与CDA俱乐部活动、各类大型会议,亲身与大牛接触,获得实务经验。你也可在专业课堂上与国内顶尖讲师进行交流切磋,最有效规划自身大数据职业发展。
  CDA大数据分析圈是数据人的家园,圈子里,资源流通,共享智慧,合作发展。CDA以“创新、开放、分享”的理念,期待你的加入!

分享到:

CDA数据分析师周边