大数据的真正价值你知道多少(2)

3、正确认识大数据的价值和效益

3.1大数据的价值主要体现为它的驱动效应

人们总是期望从大数据中挖掘出意想不到的“大价值”。实际上大数据的价值主要体现在它的驱动效应，即带动有关的科研和产业发展，提高各行各业通过数据分析解决困难问题和增值的能力。大数据对经济的贡献并不完全反映在大数据公司的直接收入上，应考虑对其他行业效率和质量提高的贡献。大数据是典型的通用技术，理解通用技术要采用“蜜蜂模型”：蜜蜂的效益主要不是自己酿的蜂蜜，而是蜜蜂传粉对农业的贡献。

电子计算机的创始人之一冯·诺依曼曾指出：“在每一门科学中，当通过研究那些与终极目标相比颇为朴实的问题，发展出一些可以不断加以推广的方法时，这门学科就得到了巨大的进展。”我们不必天天期盼奇迹出现，多做一些“颇为朴实”的事情，实际的进步就在扎扎实实的努力之中。媒体喜欢宣传一些令人惊奇的大数据成功案例，对这些案例我们应保持清醒的头脑。据Intel中国研究院首席工程师吴甘沙在一次报告中透露，所谓“啤酒加尿布”的数据挖掘经典案例，其实是Teradata公司一位经理编出来的“故事”，历史上并没有发生过[4]。即使有这个案例，也不说明大数据分析本身有什么神奇，大数据中看起来毫不相关的两件事同时或相继出现的现象比比皆是，关键是人的分析推理找出为什么两件事物同时或相继出现，找对了理由才是新知识或新发现的规律，相关性本身并没有多大价值。

有一个家喻户晓的寓言可以从一个角度说明大数据的价值：一位老农民临终前告诉他的3个儿子，他在他家的地中埋藏了一罐金子，但没有讲埋在哪里。

    他的儿子们把他家所有的地都深挖了一遍，没有挖到金子，但由于深挖了土地，从此庄稼收成特别好。数据收集、分析的能力提高了，即使没有发现什么普适的规律或令人完全想不到的新知识，大数据的价值也已逐步体现。

    3.2大数据的力量来自“大成智慧”

    每一种数据来源都有一定的局限性和片面性，只有融合、集成各方面的原始数据，才能反映事物的全貌。事物的本质和规律隐藏在各种原始数据的相互关联之中。不同的数据可能描述同一实体，但角度不同。对同一个问题，不同的数据能提供互补信息，可对问题有更深入的理解。因此在大数据分析中，汇集尽量多种来源的数据是关键。

    数据科学是数学（统计、代数、拓扑等）、计算机科学、基础科学和各种应用科学融合的科学，类似钱学森先生提出的“大成智慧学”[5]。钱老指出：“必集大成，才能得智慧”。大数据能不能出智慧，关键在于对多种数据源的集成和融合。IEEE计算机学会最近发布了2014年的计算机技术发展趋势预测报告，重点强调“无缝智慧（SeamlessIntelligence）”。发展大数据的目标就是要获得协同融合的“无缝智慧”。单靠一种数据源，即使数据规模很大，也可能出现“瞎子摸象”一样的片面性。数据的开放共享不是锦上添花的工作，而是决定大数据成败的必要前提。

    大数据研究和应用要改变过去各部门和各学科相互分割、独立发展的传统思路，重点不是支持单项技术和单个方法的发展，而是强调不同部门、不同学科的协作。数据科学不是垂直的“烟囱”，而是像环境、能源科学一样的横向集成科学。

    3.3大数据远景灿烂，但近期不能期望太高

    交流电问世时主要用作照明，根本想象不到今天无处不在的应用。大数据技术也一样，将来一定会产生许多现在想不到的应用。我们不必担心大数据的未来，但近期要非常务实地工作。人们往往对近期的发展估计过高，而对长期的发展估计不足。Gartner公司预测，大数据技术要在5~10年后才会成为较普遍采用的主流技术，对发展大数据技术要有足够的耐心。

    大数据与其他信息技术一样，在一段时间内遵循指数发展规律。指数发展的特点是，从一段历史时期衡量（至少30年），前期发展比较慢，经过相当长时间（可能需要20年以上）的积累，会出现一个拐点，过了拐点以后，就会出现爆炸式的增长。但任何技术都不会永远保持“指数性”增长，一般而言，高技术发展遵循Gartner公司描述的技术成熟度曲线（hypecycle），最后可能进入良性发展的稳定状态或者走向消亡。

    需要采用大数据技术来解决的问题往往都是十分复杂的问题，比如社会计算、生命科学、脑科学等，这些问题绝不是几代人的努力就可以解决的。宇宙经过百亿年的演化，才出现生物和人类，其复杂和巧妙堪称绝伦，不要指望在我们这一代人手中就能彻底揭开其奥妙。展望数百万年甚至更长远的未来，大数据技术只是科学技术发展长河中的一朵浪花，对10~20年大数据研究可能取得的科学成就不能抱有不切实际的幻想。

    4、从复杂性的角度看大数据研究和应用面临的挑战

    大数据技术和人类探索复杂性的努力有密切关系。20世纪70年代，新三论（耗散结构论、协同论、突变论）的兴起对几百年来贯穿科学技术研究的还原论发起了挑战。1984年盖尔曼等3位诺贝尔奖得主成立以研究复杂性为主的圣菲研究所，提出超越还原论的口号，在科技界掀起了一场复杂性科学运动。虽然雷声很大，但30年来并未取得预期的效果，其原因之一可能是当时还没有出现解决复杂性的技术。

    集成电路、计算机与通信技术的发展大大增强了人类研究和处理复杂问题的能力。大数据技术将复杂性科学的新思想发扬光大，可能使复杂性科学得以落地。复杂性科学是大数据技术的科学基础，大数据方法可以看作复杂性科学的技术实现。大数据方法为还原论与整体论的辩证统一提供了技术实现途径。大数据研究要从复杂性研究中吸取营养，从事数据科学研究的学者不但要了解20世纪的“新三论”，可能还要学习与超循环、混沌、分形和元胞自动机等理论有关的知识，扩大自己的视野，加深对大数据机理的理解。

    大数据技术还不成熟，面对海量、异构、动态变化的数据，传统的数据处理和分析技术难以应对，现有的数据处理系统实现大数据应用的效率较低，成本和能耗较大，而且难以扩展。这些挑战大多来自数据本身的复杂性、计算的复杂性和信息系统的复杂性。

    4.1数据复杂性引起的挑战

    图文检索、主题发现、语义分析、情感分析等数据分析工作十分困难，其原因是大数据涉及复杂的类型、复杂的结构和复杂的模式，数据本身具有很高的复杂性。目前，人们对大数据背后的物理意义缺乏理解，对数据之间的关联规律认识不足，对大数据的复杂性和计算复杂性的内在联系也缺乏深刻理解，领域知识的缺乏制约了人们对大数据模型的发现和高效计算方法的设计。形式化或定量化地描述大数据复杂性的本质特征及度量指标，需要深入研究数据复杂性的内在机理。人脑的复杂性主要体现在千万亿级的树突和轴突的链接，大数据的复杂性主要也体现在数据之间的相互关联。理解数据之间关联的奥秘可能是揭示微观到宏观“涌现”规律的突破口。大数据复杂性规律的研究有助于理解大数据复杂模式的本质特征和生成机理，从而简化大数据的表征，获取更好的知识抽象。为此，需要建立多模态关联关系下的数据分布理论和模型，理清数据复杂度和计算复杂度之间的内在联系，奠定大数据计算的理论基础。

    4.2计算复杂性引起的挑战

    大数据计算不能像处理小样本数据集那样做全局数据的统计分析和迭代计算，在分析大数据时，需要重新审视和研究它的可计算性、计算复杂性和求解算法。大数据样本量巨大，内在关联密切而复杂，价值密度分布极不均衡，这些特征对建立大数据计算范式提出了挑战。对于PB级的数据，即使只有线性复杂性的计算也难以实现，而且，由于数据分布的稀疏性，可能做了许多无效计算。

    传统的计算复杂度是指某个问题求解时需要的时间空间与问题规模的函数关系，所谓具有多项式复杂性的算法是指当问题的规模增大时，计算时间和空间的增长速度在可容忍的范围内。传统科学计算关注的重点是，针对给定规模的问题，如何“算得快”。而在大数据应用中，尤其是流式计算中，往往对数据处理和分析的时间、空间有明确限制，比如网络服务如果回应时间超过几秒甚至几毫秒，就会丢失许多用户。大数据应用本质上是在给定的时间、空间限制下，如何“算得多”。从“算得快”到“算得多”，考虑计算复杂性的思维逻辑有很大的转变。所谓“算得多”并不是计算的数据量越大越好，需要探索从足够多的数据，到刚刚好的数据，再到有价值的数据的按需约简方法。

    基于大数据求解困难问题的一条思路是放弃通用解，针对特殊的限制条件求具体问题的解。人类的认知问题一般都是NP难问题，但只要数据充分多，在限制条件下可以找到十分满意的解，近几年自动驾驶汽车取得重大进展就是很好的案例。为了降低计算量，需要研究基于自举和采样的局部计算和近似方法，提出不依赖于全量数据的新型算法理论，研究适应大数据的非确定性算法等理论。