大数据如何应对成长的“烦恼”

今天，已经几乎没有人会再怀疑大数据的价值，人们更加关心的是如何真正将大数据推向应用，真正发挥其价值。但是，尽管业界不乏探索，但客观来看大数据的整体发展目前尚处于初级阶段。换句话说，对于大数据理念的认可并不代表就能利用好大数据。尤其是在中国，尽管大数据拥有良好的产业基础和发展前景，但数据资源的开放程度较低、数据资产的保护等现实问题都是当前面临的主要挑战。如何应对这些挑战，驱动大数据快速走向普遍应用？近日工信部电信研究院发布的《大数据白皮书》，针对上述问题给出了独到的解答。

有效的应用模式还未找到

当前，大数据还未形成普遍应用的局面。究其原因，在于大多数企业，特别是传统领域的企业，还未找到有效的应用模式。

理念的应用快于数据的应用

数据就是资产。这一轮大数据浪潮，使得大数据理念迅速普及。尽管很多数据尚没有找到合适的用途，但很多公司已经将其作为资产，对其数据进行规划、存储，或自行开发，或积极寻找买家，或寻找合作者。

电信运营商最有可能成为典型的数据资产运营者。电信运营商掌握丰富的用户身份数据、语音数据、视频数据、流量数据和位置数据，数据的海量性、多元性和实时性使其具有经营大数据的先天优势。目前主要的电信运营商都已积极探索开发其内部的大数据资源，但从目前的应用发展看，电信运营商的大数据仍主要用于支持内部的客户流失分析、营销分析和网络优化分析等，对外的应用模式尚未成型。

大数据应用呈散发状

目前，大数据应用并没有形成燎原之势，主要集中于互联网的市场营销场景。尽管金融、电信、零售、制造、医疗、交通、物流、IT 等行业对大数据应用表现出极大热情，但目前在媒体和各种论坛上所公开的大数据应用案例仍然非常零散，这表明大家虽然都很关注大数据，但推进实际的应用仍然存在一定的困难。唯一众多企业都推出或者采纳大数据应用的领域是基于互联网的市场营销，在这一领域应用了大数据的公司不仅包括大型的互联网公司、众多专业性的中小型互联网公司，线下企业也在与互联网公司合作，积极开发这一领域的价值。

从数据源看，大数据的应用还处于自给自足的“小农经济”时代，现有的应用仍然以机构内部数据为主。以机构内部数据为主的主要原因是数据的开放和交易尚未形成市场的主流形态。以国内主要的电子商务交易平台为例，尽管目前推出了很多大数据应用，但这些应用基本上都局限于内部。由于法律和数据交易机制的不健全，这些交易平台在对外开放和交易数据上仍然持谨慎态度。Gartner 的一项调查显示，即使在全球，以内部数据为主仍然是大数据应用的主要特征，各行业应用最多的仍然是企业内部的交易数据（应用比例普遍超过50%，多数行业应用比例超过80%）和日志数据。

从技术角度看，大数据仍以初级应用为主，多数应用仍然使用传统分析流程和工具，只是扩大了数据的来源、增加了数量。调研发现，与传统数据分析相比，新的大数据应用虽然开始使用非结构化数据，但在实际应用过程中，这些非结构化数据只是被压缩、清洗和结构化后，放入传统的ETL和分析流程中去。另一些大数据应用通过采用云存储和云处理技术，提高了数据处理效率，从而增加了数据处理的规模，但这些应用也仍然采用原有的ETL 和分析流程。缺乏应用模式上的创新，使得目前大数据应用仍停留在初级技术阶段。

从应用效果看，目前的大数据应用以延续改善现有业务和产品为主，突破性创新应用尚不多见。以最常见的互联网营销大数据应用为例，在大数据兴起之前，精准营销和个性化推荐一直是企业营销活动的追求方向，新兴数据源和大数据技术的兴起使得企业进一步改善其营销技能，使其精准营销能力进一步增强，但这只是对企业旧有营销能力的改善。目前大家议论比较多的突破性创新如网上小贷业务，这项业务完全改变了过去金融机构贷款的流程、信用评价和控制风险的方式，从而极大地降低了贷款的成本，扩大了贷款的范围。但目前这样的突破性创新并不多见。Gartner 的调查显示，企业投资大数据的主要目的在于改善客户服务、流程优化、精准营销和削减成本等，而新产品/新商业模式这种突破性创新的方向并不是企业的主要目的。

不一样的中国式烦恼

目前，大数据在全球的发展都还处于初期，技术、制度、观念等方面都需要改变。具体到中国而言，数据资源不丰富、技术差距大和法律法规不完善是当前大数据发展面临的独特问题。

数据源不够丰富，数据开放程度较低

丰富的高质量数据资源是大数据产业发展的前提。近几年在互联网产业及金融、电信信息化快速发展的带动下，我国数据资源总量有了快速增长，已达到全球的13%，但其他行业受信息化水平制约，数据储量仍不丰富。已有数据资源还存在标准化、准确性、完整性水平低，利用价值不高的情况。同时，我国政府、企业和行业在信息化系统建设中受到各种因素制约，形成了众多“信息孤岛”，数据开放程度严重滞后。建立良性发展的数据资源储备与共享体系，是我国大数据发展的首要问题。

技术水平不高，技术扩散不畅

我国大数据技术的发展模式也与全球类似，互联网企业具备快速将国际先进的开源大数据技术整合到自身系统中的能力，并构建了单集群上万节点的大型系统，但仍缺乏原创技术，对开源社区的贡献不足，进而对前沿技术路线的影响比较微弱。同时，由于本土开源社区等产业组织发育滞后，国内领先企业在大数据方面的技术创新也难以向社会扩散。

相关法律法规有待进一步完善

随着大数据挖掘分析将越来越精准、应用领域不断扩展，个人隐私保护和数据安全变得非常紧迫。在隐私保护方面，现有的法律体系面临着两个方面的挑战：一是法律保护的个人隐私，要体现为“个人可识别信息（PII）”，但随着技术的推进，以往并非PII 的数据也可能会成为PII，使得保护范围变得模糊。二是以往建立在“目的明确、事先同意、使用限制”等原则之上的个人信息保护制度，在大数据场景下变得越来越难以操作。而我国个人信息保护、数据跨境流动等方面的法律法规尚不健全，这成为制约大数据产业健康发展的重要原因之一。需要结合我国法治建设的实际情况，探索通过行业自律等方式弥补法律体系不完善的弊端。

多措并举走出发展误区

对于中国的大数据产业的发展而言，首先需要明确战略目标和战略重点，统筹谋划大数据应用、关键技术研发与产业培育、数据开放与数据保护、市场监管、法律法规等关键布局，引导国内各地大数据发展方向，避免一哄而上的盲目发展。

在大数据应用上，一是政务和公共服务领域的应用，应重点面向改善民生服务和城市治理等，积极推动环保、医疗、教育、交通等关键领域的大数据整合与集成应用，进一步提高政务和公共服务效率。二是市场化应用，应重点在跨行业的大数据应用方面出台推动政策，促进互联网、电信、金融等企业与其他行业开展大数据融合与应用创新，带动全社会大数据应用不断深化。

在技术创新上，一是要加强大数据技术研发方向的前瞻性和系统性，近期重点支持深度学习与人工智能、实时大数据处理、海量数据存储管理、交互式数据可视化和应用相关的分析技术。二是要聚集产学研用力量形成合力，力争在大数据平台级软件上实现突破，以此为核心发展开源生态。三是创新科研项目支持方式，将开源和开放标准作为考核指标，通过直接补助或后补助方式激励企业和科研机构参与开源技术发展，促进大数据技术扩散。

在政府数据开放上，建议推进政府和公用事业领域数据资源的普查工作，并按照相关法规制定政府和公共数据开放中的安全和隐私保护检查表，对可能涉及国家安全和公民隐私的风险点进行严格控制。在此基础上，按敏感性对政府和公共数据进行分类，确定开放优先级，制订分步骤的数据开放路线图。同时，政府也应积极规范和引导商业化的大数据交易活动，为数据资源的流通创造有利条件。

在个人信息保护上，国际上一些机构提出监管的重点应该“从数据收集环节，转移到数据使用环节”。我们要密切关注国际上立法理念的演变趋势，结合技术发展趋势和我国国情对相关制度进行前瞻性研究。同时，为了解决当前个人信息和数据保护的紧迫需求，可依托行业组织及时总结业界的最佳实践，逐步形成行业共识，在试点成熟后上升为标准或法律法规并推动实施，为大数据的健康发展保驾护航。