
新的起点,带你领略大数据及大数据产业的全貌
随着“云计算”、“互联网”、“物联网”的快速发展,大数据(Big Data)也吸引了越来越多的人关注,成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”,“大数据”显然已经成为新一代“网红”。 本文将从以下几个方面分析大数据及大数据产业:
●大数据是如何成为网红的?
●大数据究竟是什么?
●大数据发展阶段及市场规模
●大数据主要应用领域
●大数据产业链及细分领域
●我国大数据产业竞争格局
●我国大数据产业发展需求
●我国大数据产业存在挑战
大数据一词最早出现是在1980年著名未来学家托夫勒在其所著的《第三次浪潮》中,书中提出“如果说IBM的主机拉开了信息化革命的大幕,那么‘大数据’才是第三次浪潮的华彩乐章。” 2008年9月《自然》杂志推出了名为“大数据”的封面专栏,从此大数据开始崭露头角,2009年“大数据”才成为信息技术行业中的热门词汇。
2011年6月全球知名咨询公司麦肯锡发布《大数据:下一个创新、竞争和生产力的前沿》研究报告,最早提出“大数据时代已经到来”,从此大数据开始成为全球“网红”,美国、中国、英国、日本等纷纷提出要投资这位“网红”,引爆大数据发展的浪潮。
大数据在业内并没有统一的定义,不同厂商、不同用户,站的角度不同,对大数据的理解也不一样。随着大数据的不断火热,其定义通常指具有体量巨大(Volume)处理速度较快(velocity)、数据类型多样(variety)以及商业价值较高(Value)等4V特点的数据。
目前,从发展阶段来看,我国大数据产业处于快速推进期,中国和美国几乎同一时期关注大数据产业,但与美国存在一定的差距,究其原因,美国是全球信息技术产业的领头羊, 在硬件和软件领域都拥有超一流的实力, 早在大数据概念火热起来之前, 美国信息技术产业在大数据领域已经有了很多技术积累, 这使得美国的大型信息技术企业可以迅速转型为大数据企业,从而推动整个大数据产业在美国的发展壮大。另外中国数据大多数都掌握在政府手里,数据源比美国相对封闭,数据分析受到局限,影响大数据的发展。
虽然目前中国在大数据领域稍滞后美国,但是从全球范围来看,大数据产业已经开始处于概念热潮的峰值滑落阶段,而我国大数据产业市场规模仍保持超高速增长。
2015年我国大数据市场规模为1692亿元(由于大数据是新兴产业,统计口径没有标准,市场上对于大数据规模的统计数据各有不同,本文是根据贵阳大数据交易所数据得来),占全球市场大数据总规模的20.30%,仍然具有增长空间。预计2020年全球大数据市场规模将超过10270亿美元,我国大数据市场规模将接近13625亿元。
谈及大数据应用,可以分为政府服务类应用和行业商业类应用两种。
政府服务类数据应用为政府管理提供强大的决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供强大的决策支持,强化城市管理服务的科学性和前瞻性;在交通管理方面,通过对道路交通信息的实时挖掘,能够有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据;在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪;在安防领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。政府服务类大数据与民生密切相关,其应用主要包括智慧交通、智慧医疗、智慧家居、智慧安防等,这些智慧化的应用将极大地拓展民众生活空间,引领大数据时代智慧人生的到来。
行业商业类大数据应用较多,主要将大数据与传统企业相结合,有效提升运营效率和结构效率、推动传统产业升级转型。因此,各产业都在深入挖掘大数据的价值,研究大数据的深度应用,可以说,大数据在各行业的全面深度渗透将有力地促进产业格局重构,成为中国经济新一轮快速增长的新动力和拉动内需的新引擎。
目前,众多应用领域中,电子商务、电信领域应用成熟度较高,政府公共服务、金融等领域市场吸引力最大,具有发展空间。
大数据产业是以大数据为核心资源,将产生的数据通过采集、存储、处理、分析并应用和展示,最终实现数据的价值。整个大数据产业分为大数据核心业态和大数据衍生业态。
大数据核心业态围绕数据如何获取?获取后的数据如何存储并挖掘处理?处理后的数据如何应用?为重点。对应大数据产业架构的大数据存储层、大数据分析层和大数据应用层。
大数据衍生业态指围绕着大数据核心业态所需要的软硬件基础设施、安全服务、大数据交易和技术支持类产业。
依据从数据采集-数据存储-数据处理-数据分析-数据应用这条产业链进行梳理,共涉及到11类主要产品和服务:
1.市场结构:
我国大数据企业竞争格局总体呈现数据资源型企业、技术拥有型企业和应用服务型企业“三分天下”局面。
数据资源型企业,即先天拥有或者以汇聚数据资源为目标的企业,这类企业将占据一定先发优势,利用手中的数据资源,或挖掘数据来提升企业竞争力,或主导数据交易平台机制的形成。以在自身行业积累了丰富数据资源,和力图汇聚开放网络数据的企业以及互联网企业为代表。典型代表企业数据堂、星图数据、优易数据、腾讯、百度、阿里巴巴等。
技术拥有型企业是以技术开发见长的,即专注开发数据采集、存储、分析以及可视化工具的企业,包括软件企业、硬件企业和解决方案商,代表企业星环科技、永洪科技、南大通用、华为、用友、联想、浪潮、曙光等。
应用服务型企业是指为客户提供云服务和数据服务的应用服务型企业,这类企业广泛对接各个行业,专注于产品的便捷化和易维护性,同时要针对不同行业客户的需求提供差异化的服务代表企业百分点、明略数据、TalkingData等。
2.区域分布:
我国大数据产业集聚区主要位于经济比较发达的地区,北京、上海、广东是发展的核心地区,这些地区拥有知名互联网及技术企业、高端科技人才、国家强有力政策支撑等良好的信息技术产业发展基础,形成了比较完整的产业业态,且产业规模仍在不断扩大。
除此之外,以贵州、重庆为中心的大数据产业圈,虽然地处经济比较落后的西南地区,但是贵州、重庆等地依托政府对其大数据产业发展提供的政策引导,积极引进大数据相关企业及核心人才,力图占领大数据产业制高点,带动区域经济新发展。
京津冀地区依托北京,尤其是中关村在信息产业的领先优势,培育了一大批大数据企业,是目前我国大数据企业集聚最多的地方。不仅如此,部分数据企业扩散了到天津和河北等地,形成了京津冀大数据走廊格局;
珠三角地区依托广州、深圳等地区的电子信息产业优势,发挥广州和深圳两个国家超级计算中心的集聚作用,在腾讯、华为、中兴等一批骨干企业的带动下,珠三角地区逐渐形成了大数据集聚发展的趋势;
长三角地区依托上海、杭州、南京,将大数据与当地智慧城市、云计算发展紧密结合,吸引了大批大数据企业,促进了产业发展。上海发布《上海推进大数据研究与发展三年行动计划》,推动大数据在城市管理和民生服务领域应用。
大西南地区以贵州、重庆为代表城市,通过积极吸引国内外龙头骨干企业,实现大数据产业在当地的快速发展。2013年起,贵州市率先把握大数据发展机遇,充分发挥其发展大数据产业所独具的生态优势、能源优势、区位优势及战略优势等四大优势,抢占先机率先启动首个国家大数据综合实验区、国家大数据产业集聚区和国家大数据产业技术创新实验区;率先建成全国第一个省级政府数据集聚共享开放的统一云平台;率先开展大数据地方立法,颁布实施《贵州省大数据应用促进条例》;率先设立全球第一个大数据交易所;率先举办贵阳国际大数据产业博览会和云上贵州大数据商业模式大赛等。
3.竞争态势:
从大数据产业链竞争态势来看,大数据产业链整体布局完整,但局部环节竞争程度差异化明显,产业链中游竞争集中度较高,基本被国外企业垄断,位于产业链下游的数据展示与应用竞争集中度较低,尚未形成垄断,是国内新兴企业最有机会的领域。
我国持续增长的网民数量和互联网普及率为数据量的扩大奠定基础,随着“互联网+”的发展、信息技术的创新、互联网的普及,越来越多的数据将会得到记录,数据源范围会不断扩大,所属行业会不断丰富。据预测至2020年全球所产生的数据量将会达到40万亿GB(约为40EB),为大数据行业发展奠定基础,催生强大的大数据存储、处理与分析需求。
虽然我国大数据产业快速发展,但是仍存在行业发展良莠不齐、数据开放程度较低、安全风险日益突出、技术应用创新滞后等四大挑战。
行业发展良莠不齐:我国大数据仍处于起步发展阶段,行业标准和管理机制尚未成熟,在“万众创新,大众创业”的大环境下,大量的大数据企业不断涌现,存在很多企业借大数据概念热潮投机倒把,行业发展良莠不齐;
数据开放程度较低:数据开放共享是促进大数据产业发展的重要举措,我国政府部门掌握着全体社会80%的信息资源,但这些信息资源由于部门或区域利益分别被不同的部门控制,且不同部门的数据标准不一致,导致信息流的上游环节处于封闭状态,不能有效地释放和共享,数据源的欠缺直接影响大数据分析和处理的需求,导致大数据应用缺乏价值;
安全风险日益突出:随着云计算、物联网和移动互联网等新一代信息技术的飞速发展,大数据应用规模日趋扩大,数据及其应用皆呈指数级增长态势,当企业用数据挖掘和数据分析获取商业价值的时候,黑客也可以利用大数据分析向企业发起攻击,同时社交网站的隐私数据也可能被不法商家利用等等,这都给数据安全带来了巨大的挑战;
技术应用创新滞后:我国大数据产业虽然与国际大数据发展几近步伐相同,但是仍然存在技术及应用滞后的差距,在大数据相关的数据库及数据挖掘等技术领域,处于支配地位的领军企业均为国外企业。市场上,由于国内大数据企业技术上的不足,用户更加青睐IBM、甲骨文、EMC、SAP 等国外IT企业,国内企业市场占有率仅5%左右。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10在科研攻关、工业优化、产品开发中,正交试验(Orthogonal Experiment)因 “用少量试验覆盖多因素多水平组合” 的高效性,成为 ...
2025-10-10在企业数据量从 “GB 级” 迈向 “PB 级” 的过程中,“数据混乱” 的痛点逐渐从 “隐性问题” 变为 “显性瓶颈”:各部门数据口 ...
2025-10-10在深度学习中,“模型如何从错误中学习” 是最关键的问题 —— 而损失函数与反向传播正是回答这一问题的核心技术:损失函数负责 ...
2025-10-09本文将从 “检验本质” 切入,拆解两种方法的核心适用条件、场景边界与实战选择逻辑,结合医学、工业、教育领域的案例,让你明确 ...
2025-10-09在 CDA 数据分析师的日常工作中,常会遇到这样的困惑:某电商平台 11 月 GMV 同比增长 20%,但究竟是 “长期趋势自然增长”,还 ...
2025-10-09Pandas 选取特定值所在行:6 类核心方法与实战指南 在使用 pandas 处理结构化数据时,“选取特定值所在的行” 是最高频的操作之 ...
2025-09-30球面卷积神经网络(SCNN) 为解决这一痛点,球面卷积神经网络(Spherical Convolutional Neural Network, SCNN) 应运而生。它通 ...
2025-09-30在企业日常运营中,“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”,金融机构想预判 “下周股 ...
2025-09-30Excel 能做聚类分析吗?基础方法、进阶技巧与场景边界 在数据分析领域,聚类分析是 “无监督学习” 的核心技术 —— 无需预设分 ...
2025-09-29XGBoost 决策树:原理、优化与工业级实战指南 在机器学习领域,决策树因 “可解释性强、处理非线性关系能力突出” 成为基础模型 ...
2025-09-29在标签体系的落地链路中,“设计标签逻辑” 只是第一步,真正让标签从 “纸上定义” 变为 “业务可用资产” 的关键,在于标签加 ...
2025-09-29在使用 Excel 数据透视表进行多维度数据汇总时,折叠功能是梳理数据层级的核心工具 —— 通过点击 “+/-” 符号可展开明细数据或 ...
2025-09-28在使用 Pandas 处理 CSV、TSV 等文本文件时,“引号” 是最容易引发格式混乱的 “隐形杀手”—— 比如字段中包含逗号(如 “北京 ...
2025-09-28在 CDA(Certified Data Analyst)数据分析师的技能工具箱中,数据查询语言(尤其是 SQL)是最基础、也最核心的 “武器”。无论 ...
2025-09-28Cox 模型时间依赖性检验:原理、方法与实战应用 在生存分析领域,Cox 比例风险模型(Cox Proportional Hazards Model)是分析 “ ...
2025-09-26检测因子类型的影响程度大小:评估标准、实战案例与管控策略 在检测分析领域(如环境监测、食品质量检测、工业产品合规性测试) ...
2025-09-26CDA 数据分析师:以数据库为基石,筑牢数据驱动的 “源头防线” 在数据驱动业务的链条中,“数据从哪里来” 是 CDA(Certified D ...
2025-09-26线性相关点分布的四种基本类型:特征、识别与实战应用 在数据分析与统计学中,“线性相关” 是描述两个数值变量间关联趋势的核心 ...
2025-09-25深度神经网络神经元个数确定指南:从原理到实战的科学路径 在深度神经网络(DNN)的设计中,“神经元个数” 是决定模型性能的关 ...
2025-09-25