浅谈数据分析中的“暗物质”

我们分析数据，更重要的是看到数据中所隐藏的暗物质，即数据图中你看不见的数据\逻辑\知识。

开门见山，以下是某新闻媒体WAP\APP\PC三端的分周中和周末的PV曲线，下面尝试分析其中是否存在某种规律。

图一：newsAPP某周一库存

图二：newsAPP某周日库存

１.数据的准确性和代表性

在分析数据之前，有一个非常重要的事情，大家往往会忽略，那就是数据的置信度是多少。

如果数据的准确性本身存在问题，那能产出正确结果的概率与买彩票中奖的概率大概相差无几。即便数据是准确地，那还得证明数据具有代表性，你是不是只抽取了一天的数据，你是不是只抽取了一端的数据。

自然，很多时候，你必须要进行抽样，那你更要谨慎了，因素那么多，你要保证自己在数据采样过程中，考虑了应该考虑的因素。当然，这些数据对于这个结论很具有代表性，对于另一个分析目的却有可能完全没有代表性，这些都不能一概而论。

总之，数据准确性这个问题基本上要在分析之前给出确定的答案。而数据是否具有代表性这个问题由于比较复杂，尽可能的在分析之前考虑清楚的同时，在分析过程中，一定要随时保持着质疑精神，每向前一步，都要重新考虑数据样本是否还具有代表性。

图三：newsWAP某周一库存

图四：newsWAP某周末库存

２.看图说话

以下图中数据经受过了我们多方位的考验，所以数据基本准确，代表性具体要看你的分析目的。

基本确定了准确性和代表性后，怀着高度质疑的精神，让我们开始我们的分析之旅。

首先，单独来看每一个图，大家可以很清晰的理解，这六条PV曲线都是与用户的行为息息相关的。从各条PV曲线的变化来看，用户7:00－8:00起床的比较多，22:00是一个大家进入休息比较集中的时间点。凌晨的2:00－5:00是用户活动的低谷，而波峰在时间上一般是20:00－22:00。

图五：newsPC某周一库存

图六：newsPC某周日库存

３.多项对比

说到这里，细心的大家可能对图五\图六中的数据表示质疑。因为它不符合我们刚才推出来的规律。

比如说，PC端一天中的波峰时间是每天的9:00－10:00，而且周一和周日的PV曲线变化非常大。 周一的数据量大周日一两倍的样子，而且周日白天的波动比较缓和，而周一的波动非常大，存在多个波峰波谷。相反，APP\WAP在周日和周一的PV总量并未出现明显变化，而且曲线变化规律也大抵相同。

４.挖掘暗物质

所谓暗物质，就是数据图中你看不见的数据\逻辑\知识。

所谓的数据分析或者挖掘就是挖掘各个数据之前的关联，数据与暗物质之间的关联。

仔细想来，我在“看图说话”中的推理其实利用了先验知识，也就是说大家有起床后看新闻和睡觉前看新闻的习惯，事实真的是这样吗？事实大概确实如此，但是在分端上可就不同了。

APP\WAP都是移动设备上可以触及的渠道，所以基本可以与用户的起居习惯相吻合。但是PC端并非触手所及，并不能完全和用户的起居相吻合，毕竟你零碎时间里可以打开手机，却不太可能去打开电脑。

上面我说到PC端并不能很好的反映用户的起居，那他能反映用户的什么呢。想想我们平时使用PC的场景，PC端数据是否能反映用户的上班时间特性？这点确实能给出数据支持。

一是周一比周日PV量大，说明周末使用PC的用户少，周中上班时间就身不由己了，所以PV量比较大。周日和周一的曲线波动也完全能理解了，周一的PV的上涨时间落后于起居时间是因为那是上班时间，延迟的一小时左右要吃饭\要挤地铁啊，9:00左右（上班的集中时间点）大家都坐定了，刷一下新闻，PV量也就达到最大。

9:00－11:00期间的PV量几乎没有太大变化，但11:00开始就开始慢慢下跌了，一直持续到12：00，这个可能与大家要逐渐去吃午饭相关，经过了１2:00－14:00的午休阶段，PV量存在一定上涨。

等到下午17:00，又开始下降了，到了18:00基本降得差不多了。大家基本都已经下班了。所以，我们可以说周日创造PV的这些用户，周中也会同样创造PV，而周一多出来的这些PV，其用户特征完全符合上班特性，或者说其特性完全符合朝九晚五的上班族。

５.反复求证

你的数据真的对了吗？ 那我们可以说创造PC端PV波动的这些朝九晚五的用户是国企员工吗？我们可以说国企员工上班就是看看新闻，聊聊天吗？那我们是否可以说互联网员工上班就不看新闻。

我们取得就是来看新闻的UV产生的PV数据，得出来的数据当然是这样了。互联网员工的行为是否被湮没在其他原因中了？这是我上面提到的，始终要保持质疑精神。你的数据对于之前的分析是有代表性的，可是分析以上问题，可以说是一点代表性都没有。

有些人数据分析时已经早有结论，往往数据选择和分析时便会不自觉的有所倾向，难免会得出与自己假设相同的结论。所以我们在得出结论时，其实还要从其他很多方面进行求证，包括去掉某因素后，现象是否会消失等等。

６.你的结论真的对了吗？

之前朋友圈流传着这样一个消息：有权威分析机构经过数据分析发现，战狼２和疯狂动物城的票房都很高，但两者用户重合度并不高。战狼２的观看用户更喜欢喝冷饮，而疯狂动物城的用户却更喜欢奶茶。但其实疯狂动物城上映在冬季，而战狼２上映在夏季。即便经过反复求证，我们也只能说是结论的置信度越来越高了，并不能证明这是对的。所以，除了尽可能的反复求证，剩下的方法是就是进行数据驱动策略的验证了。验证可以分为对照组等等，此处不再赘述。

7.猜猜他的用户

如果你细心一点，便会发现newsAPP\WAP两端在周日的变动相比周一稍稍延后，这估计和大家的周末作息习惯延后有关，至于为什么延后并不多，那说明主流用户肯定不是那些“上班睡不醒，周末睡不着的”年轻人啊。

8.写在最后

就是这几张平时用来做实时监控的曲线还能扯出这么多东西来？来张照片给大家。

【以下内容来自百度】中国最著名“照片泄密案”，是由1964年《中国画报》封面刊出的一张照片引起的。在这张照片中，大庆油田的“铁人”王进喜头戴大狗皮帽，身穿厚棉袄，顶着鹅毛大雪，握着钻机手柄眺望远方，在他身后散布着星星点点的高大井架。日本情报专家据此解开了中国当时最大的石油基地–大庆油田的秘密。

1、他们根据照片上王进喜的衣着判断，只有在北纬46度至48度的区域内，冬季才有可能穿这样的衣服，因此推断大庆油田位于齐齐哈尔与哈尔滨之间。

2、通过照片中王进喜所握手柄的架式，推断出油井的直径；

3、从王进喜所站的钻井与背后油田间的距离和井架密度，推断出油田的大致储量和产量。有了如此多的准确情报，日本人迅速设计出适合大庆油田开采用的石油设备。当中国政府向世界各国征求开采大庆油田的设备方案时，日本人一举中标。

庆幸的是，日本当时是出于经济危机，根据情报分析结果，向我国高价推销炼油设施，而不是用于军事战略意图。

所以数据分析中最重要的是什么？暗物质啊！