登录
首页精彩阅读大数据分析的道与术:数据分析常犯的6类错误
大数据分析的道与术:数据分析常犯的6类错误
2016-06-29
收藏

大数据分析的道与术:数据分析常犯的6类错误

夏天雪糕销量越好,游泳溺水的事件也越多,是不是雪糕中某种成分对人影响的后果呢?简单的思考后就会发现,是因为气温越高,雪糕销量会越高,同时温度越高,去河里游泳的孩子就越多,溺水事件也就越多,雪糕销量和溺水是关联关系,而并非因果关系。

上面的例子很简单,也很容易被识破,但在实际的数据分析中,关联和因果并不是那么容易区分。再举一例:

某广告公司分析人员发现:每月广告投入越高的用户,越不容易流失,而广告投入低的用户群则很容易流失,从而得出结论:“高投入会降低客户流失率,建议销售引导客户提高首月广告投入,从而降低新客流失率”。而实际情况是,新客户初期的投入常常都比较少,看广告有了效果之后,才会逐步扩大广告投放预算,投入高的客户流失率低是因为认可广告投放效果,而不是因为花的钱多。

关联性很容易判断,如何判断是否是因果关系呢?因果符合下面的特征

1.两个事件是关联的,就是说总是同时出现

2.原因在前,结果在后

3.原因消除的话,结果也消除

因果关系需要设计相对严谨的对照来证明,更多的时候需要靠经验来判断,这时候更注意要谨慎下结论。

2. 不匹配的比较例:美国与西班牙战争爆发后,不少美国人不愿意参军,坦诚是因为怕死,针对这种情况,美国军方做了一份统计报告来劝说大家参军:“可靠数据统计,美国海军的死亡率是 0.9%,而同期纽约市民的死亡率是 1.6%”,潜台词非常明显,如果惧怕死亡更应该参军,因为在军营中比呆在纽约更安全。这个例子乍看起来很有道理,如果你仔细琢磨,就会发现其中的阴谋:比较的对象不一样!如果仔细查阅,就会发现,美国海军死亡名单基本都是健康的青年小伙,而纽约市民的死亡名单大多是老弱病残,这两份数据放在一起显然不合适。

在做数据比较的时候,需要选取合适的比较对象,以便更准确地认知和发现结论,在数据分析中,一般选取的比较对象有以下几类:

自身历史

与历史同期相比,比如去年同期或上个季度。

同行竞品

合理预期

与之前产品发展的预期相比,比如:A 产品的研发,比预期收入提高 10%

同质对照组

A/B Test 结果的对比

3. 基于个案的认知每当劝说朋友戒烟时,朋友总会拿出这个段子:


不抽烟不喝酒,63岁–林彪

不抽烟只喝酒,73岁–周恩来

只抽烟不喝酒,83岁–毛泽东

既抽烟又喝酒,93岁–邓小平

吃喝嫖赌样样有,103岁–张学良没有任何坏习惯,一生做好事–23岁,雷锋

无论抽不抽烟,一个人都可能在各个年龄下死亡,从宏观的统计上分析,抽烟的人的寿命平均比不抽烟的人小 5 岁,而上面举出的个例,则无法说明问题

4. 精挑细选的数据维度例:一所艺术院校,男生校服只有裤子款式,而女生有裤子和裙子两种款式,经统计得知 75% 的女生选择裙子,25% 的女生选择裤子,今天你进入校园,远远看到一个穿裤子的同学,他是男生的概率更高,还是女生的概率更高?凭感觉得到的答案是男生概率高,因为所有的男生都穿裤子款式,而只有 25% 的女生选择裤子款式。这个例子中忽略了一个重要的数据:男生和女生的人数。

如果告诉你,该学校共 1000 人, 900 人是女生,100 人是男生,结果是什么?

女生选裤子的有 900*25% = 225 人

男生选裤子的有 100 人

很显然,这种情况下,这个人是女性的概率更高。在普通人看来,往往会有男女各占一半的经验误解。所以,在一些情况下,隐藏了部分数据就是说谎。

5. 过多脑补的推理在一个冬日的晚上,产品流量出现下跌,经过一番分析,得出原因:天气太冷,网民因为手冷而不愿意上网,提前上床睡觉,所以流量下跌。在一个冬日的晚上,产品流量出现上涨,经过一番分析,得出原因:天气太冷,网民愿意出门,只好在家窝着上网,所以流量上涨。该案例背后的信息是:一个结果可能有多个原因可以解释,“大忽悠”往往引导人们只去相信其中的一个,整个推理过程没有对应的细节数据辅助。

6. 先入为主的偏见

先别往下看,这幅图的内容是什么?

你可能觉得这幅图太过模糊和抽象,一时也看不出是什么,如果告诉你说,这是一只斑点狗,很多人就会恍然大悟,觉得确实是一只斑点狗。这里隐藏了一个重要的心理学理念:

你脑子里想的是什么,你就会去寻找什么,你将会得到你期盼的结果 —— 勃朗宁该理念有个通俗的说法是“人们只会看见他们愿意看见的事情”。

数据分析中,虽然很难不带任何“先入为主”的观点,但依然要追求追求客观分析的态度,也要适时根据数据去观察和反思,不断修正自己的观点。

数据分析咨询请扫描二维码

客服在线
立即咨询