传统数据和大数据的区别

无疑，数据信息的大爆炸不断提醒着我们，未来将会因大数据技术而改变。大数据（Big data）通常用来形容数字化时代下创造出的大量非结构化和半结构化数据。大数据无疑是未来影响各行各业发展的最受瞩目的技术之一。2009年时，全世界关于大数据的研究项目还非常有限，从2011年开始，越来越多的管理者开始意识到，大数据将是未来发展不可规避的问题，而到2012年年底，世界财富500 强企业中90%的企业都开展了大数据的项目。IDC的研究显示，到2015年，大数据市场前景将达到169亿美元的规模。当前所有企业的商业数据每隔1.2年就将递增一倍。
    那么，大数据为什么成为所有人关注的焦点？大数据带来了什么样的本质性改变？为此，我们与中国计算机学会大数据学术带头人、中国人民大学信息学院院长杜小勇教授进行了访谈。
    杜小勇教授认为，大数据带来了三大根本改变：第一、大数据让人们脱离了对算法和模型的依赖，数据本身即可帮助人们贴近事情的真相；第二、大数据弱化了因果关系。大数据分析可以挖掘出不同要素之间的相关关系。人们不需要知道这些要素为什么相关就可以利用其结果，在信息复杂错综的现代社会，这样的应用将大大提高效率；第三、与之前的数据库相关技术相比，大数据可以处理半结构化或非结构化的数据。这将使计算机能够分析的数据范围迅速扩大。
   传统数据和大数据的区别
   第一、计算机科学在大数据出现之前，非常依赖模型以及算法。人们如果想要得到精准的结论，需要建立模型来描述问题，同时，需要理顺逻辑，理解因果，设计精妙的算法来得出接近现实的结论。因此，一个问题，能否得到最好的解决，取决于建模是否合理，各种算法的比拼成为决定成败的关键。然而，大数据的出现彻底改变了人们对于建模和算法的依赖。举例来说，假设解决某一问题有算法A 和算法B。在小量数据中运行时，算法A的结果明显优于算法B。也就是说，就算法本身而言，算法A能够带来更好的结果；然而，人们发现，当数据量不断增大时，算法B在大量数据中运行的结果优于算法A在小量数据中运行的结果。这一发现给计算机学科及计算机衍生学科都带来了里程碑式的启示：当数据越来越大时，数据本身（而不是研究数据所使用的算法和模型）保证了数据分析结果的有效性。即便缺乏精准的算法，只要拥有足够多的数据，也能得到接近事实的结论。数据因此而被誉为新的生产力。
    第二、当数据足够多的时候，不需要了解具体的因果关系就能够得出结论。
    例如，Google 在帮助用户翻译时，并不是设定各种语法和翻译规则。而是利用Google数据库中收集的所有用户的用词习惯进行比较推荐。Google检查所有用户的写作习惯，将最常用、出现频率最高的翻译方式推荐给用户。在这一过程中，计算机可以并不了解问题的逻辑，但是当用户行为的记录数据越来越多时，计算机就可以在不了解问题逻辑的情况之下，提供最为可靠的结果。可见，海量数据和处理这些数据的分析工具，为理解世界提供了一条完整的新途径。
    第三、由于能够处理多种数据结构，大数据能够在最大程度上利用互联网上记录的人类行为数据进行分析。大数据出现之前，计算机所能够处理的数据都需要前期进行结构化处理，并记录在相应的数据库中。但大数据技术对于数据的结构的要求大大降低，互联网上人们留下的社交信息、地理位置信息、行为习惯信息、偏好信息等各种维度的信息都可以实时处理，立体完整地勾勒出每一个个体的各种特征。