数据过大妨碍分析洞察-CDA数据分析师官网

热线电话：13121318867

数据过大妨碍分析洞察

2018-05-02

数据过大妨碍分析洞察

大数据对使用者来说看似意味着好的洞察，但过量的数据并不一定带来更好的洞察，统计学家Nate Silver这样认为，他是美国最著名的数据分析师。“数据量越大，人们可以用来证明他们所想的结果的证据就越多”，他说。
   大数据不仅仅在政治上应用，得到许多有趣的结论，在医学领域和地震预测，研究人员更希望利用大数据得出有趣的结论，而不是什么消息都没有。在真正的洞察中，大数据会带来许多“虚假的相关性”，那些看似互相关联的数据，其实只是干扰数据。
    Nate Silver由此提出了四条建议，帮助使用者获得更好的洞察。
    1.概率性思考而非绝对性化思考
    正如调查中也会出现误差一样，不要惧怕预测中的不确定性，不确定性是重要的和科学的。如果忽略了事物的不确定性会导致严重后果。Nate Silver指出，在1997年时，国家气象局预测，Grand Forks的Red River的洪水水位是49英尺，因此镇上的防洪堤被设计成能承受51英尺的洪水。不幸的是，国家气象局在分析时并未将通过过去的数据得出的正负9英尺误差算进去，洪水达到了54英尺，Grand Forks被淹没。
    现在国家气象局更加关注不确定性，这在预测中非常重要。
    2.明确你的出发点，明白你的弱点
    Nate Silver以一个性别歧视实验为例，一份女性名字和男性名字的简历，即使被调查人明确表示他没有性别歧视，但他潜意识更可能歧视女性的简历。而知道自己有性别歧视倾向的人会采取一定办法来抵消它的作用。
    3.在得出结论前，了解数据所在的真实情况，理论联系实际。换句话说，能够准确预测San Diego的天气，并不代表可以同样准确预测Buffalo的天气。
    就好比，预测一个稳定的经济环境比动荡、萧条的经济环境容易得多，这也解释了为什么许多预测者大都对经济衰退毫无准备，因为预测模型是基于1986-2006的数据创建的，那段时间经济异常稳定。
    4.尝试和错误是有帮助的。
    预测模型总是在错误中缓慢成长的，就像生活中的许多事情：“你应该怀疑奇迹般的结果”。