
我国大数据产业发展态势分析及建议
我国高度重视大数据的战略意义和数据资源对社会经济发展的积极作用,国务院于2015年出台了《促进大数据发展行动纲要》,并将“实施国家大数据战略,推进数据资源开放共享”纳入“十三五”期间规划和建设的重要目标。目前国内大数据产业发展已初具规模,但尚未形成产业界定共识。本文首先就大数据产业的核心要素进行探讨,然后从核心要素展开阐述我国大数据产业发展的若干特点,最后结合发展现状和问题提出相关策略建议。
一、大数据产业的核心要素
普遍意义上来讲,大数据产业是以数据及数据所蕴含的信息价值为核心资源所构成的生态环境,它包含了与大数据管理和价值实现相关的企业、行业机构等社会主体的经济活动集合。遵照产业定义的通用原则,产业各环节的参与实体应能够提供可交付的产品和服务,并形成上下游产业链供需关系。在此基础上,依据数据价值的提升路径和IT领域的产品布局,我们将大数据产业的核心要素归纳为数据资源、数据基础能力、数据分析和展示、数据应用几个重要组成部分。
图1. 大数据产业核心要素示意图1
其中,数据资源部分负责原始数据的供给和交换,是数据资产作为生产要素的直接表现,根据数据来源的不同,可以细分为数据资源提供者和数据交易平台两种角色;数据基础能力部分负责与数据生产加工相关的基础设施和技术要素供应,为数据加工和价值提升提供生产工具,主要包括数据存储、数据处理和数据库等多个角色;数据分析和展示部分负责数据隐含价值的挖掘、数据关联分析和可视化展现等,是智力要素在数据价值中的集中体现,包括传统意义上的BI、可视化和通用数据分析工具,以及面向非结构化数据提供的语音、图像等媒体识别服务;数据应用部分根据数据分析和加工的结果,面向电商、金融、交通等细分行业提供精准营销、信用评估、出行引导等企业或公众服务。
二、我国大数据产业发展现状和特点
自2013年大数据的概念迅速普及,国内大数据领域在电信、互联网、金融、电商等信息化领先行业的引导和带动下,聚集了BAT等龙头企业和数百家中小及初创企业,在大数据产业的主要环节完成了初步布局,产品和服务供应链能够满足基本数据生产加工的全生命周期覆盖。经过两三年的持续发展,我国的大数据产业呈现出以下几个发展特点。
数据资源层,开放主体集中在信息化基础较好行业及地区,并呈现服务化趋势。随着大数据产业中数据资源参与主体的逐渐增多,我国的数据开放程度得到了普遍提升。一方面,数据开放的主体集中在部分信息化基础较好行业及经济发达地区,如互联网、交通出行、教育科研行业等,都出现了相应的数据开放企业和平台。政府推动的公共信息资源开放网站也主要由信息经济较发达地区先行先试,并逐渐向周边省市辐射扩散。另一方面,第三方数据交易平台不断涌现,填补了居间服务的市场空白。目前全国范围内已建成及正在筹建的地方数据交易机构达到十余家。一些早期的数据交易平台逐渐从单一的居间服务商向数据资源综合服务商转型。
数据基础能力层,参与主体基本完成云时代向数据时代的转型升级。随着大规模数据存储和处理能力需求的快速增长,以BAT、华为、浪潮等为代表的云计算服务提供商,根据自身的原始积累和优势资源完成向数据驱动企业的战略转型。百度凭借其长期积累的用户搜索记录推出了百度数据开放平台,通过百度搜索服务提供“即搜即得”的高效数据展现。阿里云从基础的弹性资源供给逐渐扩展服务类型,研发并提供了支持PB级数据存储的分布式关系型数据库(PetaData)等一系列数据支撑产品。华为的分布式存储管理系统FusionStorage为异构海量数据的存储管理提供了弹性可扩展的技术保障。
数据分析以及应用层,中小和初创企业积极占领战略高地。由于缺失原始数据资产和先期市场份额,中小企业,特别是初创企业集中布局在数据分析和数据应用等低基础产业环节,投融资形势异常火爆。据中关村数据产业联盟统计数据显示,中关村从事数据分析和数据应用的企业合计超过110家,占总数2/3以上。投融资方面,据不完全统计2015年在国内融资的大数据创业公司超过50家,总融资金额超过50亿人民币,其中从事数据分析和行业数据应用的创业公司近40家,占75%以上。2016年上半年,数据分析和应用两个领域的创业公司融资情况占据了主流,数量为17家,占比达到70%。
此外,硬件和软件相互渗透的两种商业模式并举并行,为大数据产业带来新机遇。为了更广泛地覆盖数据生产加工流程,延长其产品和服务在数据生命周期中的作用范围,大数据产业的参与企业逐渐打破硬件和软件的产品界限,形成了“硬件带动软件”和“软件带动硬件”两种新型商业模式。浪潮推出的SmartRack系列整机柜服务器,针对深度学习应用、社交数据存储、热数据处理等不同数据处理场景制定了多种混搭架构方案,以一体机的方式实现硬件设施和软件管理的集成交付。阿里巴巴发布的数加平台率先探索以“软件带动硬件”的市场营销模式,该平台通过提供数据计算引擎、机器学习等开放服务,将阿里云的计算、存储等多种资源有机地组织在一起形成解决方案,有效扩展阿里云在实际生产环境中的部署推广途径。
三、我国大数据产业发展建议
把握源头,强化数据质量管理。目前数据资源开放在开放范围、开发利用方式、数据可用性等方面仍存在局限性和不足。截止2016年5月,全国共有九个省份/直辖市开通了区域级数据开放网站。虽然与去年同期相比,平台数量有所增加,但大多数地区仍面临数据开放格式不一致、可机读性较差,更新频率较低等现实问题。部分地方或第三方数据交易平台在流通效率、质量管理方面良莠不齐,特别是不同行业数据维度不统一、语义不协同等共性问题制约了交易市场的规模化发展。为推动大数据产业发展,需要进一步把握好数据源头,推动各方不断加强自身数据能力建设,做优存量、做大增量,加快完善相关配套措施确保隐私和信息安全。同时鼓励参与主体共同推动数据标准化进程,健全数据交易规范,探索数据资产定价机制,以各行业多样化应用需求撬动数据交易市场巨大发展潜力。
细化分工,关注数据技术过渡领域。与美国等数据产业发达国家相比,我国大数据产业的短板仍较明显,数据加工处理服务、数据库技术和通用数据分析工具等基础性通用数据技术差距较大,同时市场主体数量少、自主知识产权把控能力低等现状导致未来发展动力不足。传统行业和企业对数据分析应用具有巨大需求潜力,但其数据资源多以结构化为主。原有结构化数据和新增非结构化数据之间的互访问操作和融合管理成为新式共性技术要素,是抢占未来主流市场的关键技术机遇点。美国等技术先驱国家的产业版图已完成了技术过渡领域的初步布局,我国产业参与主体也应考虑进一步细化市场分工,形成专业性强、衔接紧密的产业新生态,并积极加大过渡时期的技术研发力度,实现数据过渡期与发达国家的同步发展。
强化合作,探索新型商业模式。大数据产业是技术密集型产业,同时也是业务驱动为主的实用型产业。就数据分析和运用过程中需解决的共性基础研究问题,欧美等数据产业发达国家通常采用以开源社区先行的开放合作模式,采用“众包”思想不断完善系统架构和产品服务功能,提供更为通用和普适的技术解决方案。经过大量企业在生产实践中的优胜劣汰自由选择,不断成熟和完善的开源产品逐渐从免费提供向企业化盈利的商业模式进行演变。相比之下,我国数据产业的参与主体在开源社区中的贡献仍然较低,企业间合作、国际间合作的参与热情有待提高。应借鉴国外企业的成功经验,以开源产品和服务为基础,提供定制化和深度支撑的新型商业模式,同时也能够为中小企业和初创企业参与大数据产业提供新的发展思路。
1很多大数据企业的主营业务涵盖某一核心要素中的多类或横跨多个核心要素,图中示意仅列举了代表企业的典型服务或产品。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01CDA 数据分析师:企业数字化转型的核心引擎 —— 从能力落地到价值跃迁 当数字化转型从 “选择题” 变为企业生存的 “必答题”, ...
2025-09-01数据清洗工具全景指南:从入门到进阶的实操路径 在数据驱动决策的链条中,“数据清洗” 是决定后续分析与建模有效性的 “第一道 ...
2025-08-29机器学习中的参数优化:以预测结果为核心的闭环调优路径 在机器学习模型落地中,“参数” 是连接 “数据” 与 “预测结果” 的关 ...
2025-08-29