大数据时代,别忽视了小数据

大数据时代，人人都在谈论大数据。从概念认知到场景应用，人们似乎正试图掀起一股数据狂潮，这其中就包括了大家熟知的智慧城市、防止犯罪，以及类似于Google对流感趋势的预测等等。诸如此类的大数据应用有些已经在发挥其应有的作用，但更多的只是一个梦想。在这些成功的和将要成功的案例背后，到底什么才是大数据的本质呢？

    随着过去20年中数据挖掘和人工智能的发展，预测技术在2011年已经相对成熟，甚至走向广泛的应用，而大数据这个概念才刚刚提出。在过去的三到五年中，基于大数据的案例比比皆是，其结果却喜忧参半。这些失败的大数据项目背后是对大数据这一概念过高的预期，反而让大家忽视了对问题场景的重视。除此之外，关联数据往往也是缺失的，尽管说大数据到处都有，但是，真正对你有价值、对决策有意义的数据往往并不容易得到，而我们所知的绝大多数数据都是噪音多过价值。

    大数据作为一个技术为我们提供了许多人与人之间交互的数据和信息，但是真正的大数据并不是一些排名和信息的发布，而是从数据中理性找出内在的逻辑关系，并将这些逻辑关系应用于实践。如果不找到事物发展的规律而永远“闻数据起舞”的话，我们的决策往往会与期望相距甚远。Google曾通过用户搜索与感冒相关的关键词来预测流感趋势，这一基于相关关系进行的趋势预测一直到2012年前都应用得非常完美。但是到了2012年的圣诞节，Google的预测比真实数值高出了整整一倍。

    是什么原因导致了Google的预测失误？2013年的《科学》上面有一篇文章，几位教授对这个现象进行了分析，他们的归纳是大数据有这样一些天生的弱点：首当其冲的就是“骄傲的大数据”——认为大数据什么都能做，小数据没有用。事实上，大数据的采集远远不如小数据那样“干净”。同时，所有大数据的应用都离不开算法——“唯一不变的就是永远在变化的算法”。更重要的是，在Google的案例中，人的行为本身也会随着大数据及其技术的发展而改变，仅仅基于数据之间的相关关系，而忽视内在的逻辑关系，对预测来讲是远远不够的。当意识到预测中存在这样的问题，就需要人们用大数据去获得规律，用小数据去匹配场景，从而实现精准的预测和智能的决策。无论是企业还是个人，先要存积并了解透彻硕大的大数据表格中属于你的那行数据，唯有如此，我们才有可能从一滴水里看世界。

    《大数据时代》作者认为：“由大数据带来对人的重新认识，不是在阿波罗神庙，而是在小世界网络中，认识你自己。”我们从昨天的数据作用中认识自然、认识宇宙到今天通过大数据更多地认识网络和社会，我们的认识更加全面、更加深刻、也更加广泛。但是成就大数据的是无数努力造就小数据的人，他们探索大数据技术，认知大数据文化，并怀揣着对数据的敬畏和对规律的尊重。