
我们的时代是数据日益渗透生活的时代,大数据与人们的生产生活有着越来越密切的关系。近期来,不少读者向本报反映,希望了解关于大数据的许多问题,我们从中梳理了六个问题,组织专业记者,深入采访业内专家,努力探寻答案,以满足广大读者的探问。
刚刚闭幕的2017中国国际大数据产业博览会又为火热的大数据产业添了一把火,博览会签约金额达167亿余元,签约意向金额为256亿元左右。这一全球首个以大数据为主题的展会,再一次撩起了大数据的神秘面纱,展示了大数据的大能量,一个通过加工处理数据来创造价值的产业正在迅猛发展。
什么是大数据 有一个故事,说的是一位顾客订购披萨时,披萨店可以立即调出这位顾客的许多信息,比如送披萨上门必有的家庭、单位等地址和电话,顾客的消费习惯从而推荐适合他的披萨种类,顾客名下的银行卡透支情况从而确定他的支付方式,甚至顾客要自取披萨时,还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事,我们可以看出大数据的一些关键特征,比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。
仅仅规模大不是大数据
大数据,顾名思义,“大”该是应有之义。“大数据的定义最初与容量有关系。”李冠宇分析说,业界有几种对大数据的定义,其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。
正如中国电子信息产业发展研究院副院长樊会文接受记者采访时指出的,大数据概念产生就是因为数据量和数据类型急剧增加,以至于原有的数据存储、传输、处理以及管理技术不能胜任,需要全新的技术工具和手段。
信息技术日新月异,大数据的定义也在发生变化。工信部赛迪研究院软件所所长潘文说,数据即时处理的速度(Velocity)、数据格式的多样化(Variety)与数据量的规模(Volume)被称为大数据“3V”。但随着近几年数据的复杂程度越来越高,“3V”已不足以定义新时代的大数据,准确性(Veracity)、可视性(Visualization)、合法性(Validity)等特性又被加入大数据的新解,从“3V”变成了“6V”。
对于“多大容量的数据才算大数据”,潘文说,大数据的规模并没有具体的标准,仅仅规模大也不能算作大数据。规模大本身也要从两个维度来衡量,一是从时间序列累积大量的数据,二是在深度上更加细化的数据。
李冠宇说,比如一份现在看起来很小的数据,但是纵向积累久了也可以变成大数据,横向与其他数据关联起来也可能形成大数据。而一份很大的数据如果没有关联性、没有价值也不是大数据。
运满满研究院院长徐强认为,“大”是必要条件,但非充分条件。基于移动互联网用户规模红利,国内平台型企业比较容易获取大量数据,但数据不是越多越好,无用数据就像噪音,会给数据分析、清洗、脱敏和可视化带来负担。
这也正如阿里巴巴集团董事局主席马云在某次演讲中说的:“很多人以为大数据就是数据量很大,其实大数据的大是大计算的大,大计算+数据,称之为大数据。”
“水涨船高”的大数据
今年麦收时节,在雷沃重工的全国“三夏”跨区作业信息服务中心,显示屏的全国电子地图上有许多大小不一、颜色不同的圆圈,这是每个区域正在作业的收割机。智能化的收割机会自动获得许多数据,包括机器运行情况、收割量、小麦含水量等,数据传回后台汇总后,总体收割情况一目了然。
“大数据概念正是来自信息技术的飞速发展和应用,特别是随着云计算、物联网、移动互联网的应用,数据量迅猛增长。数据来源有两种,一种与人有关,比如政府、企业等为人们服务时产生的数据;另一种与物有关,在移动泛在、万物互联时代,物联网应用的浪潮将带动数据量爆发式增长。”李冠宇说。
这也就不难理解,为何当下数据产生的速度如此之快。正如樊会文所分析的,一方面,信息终端大面积普及,信息源大量增加;另一方面,基于云计算的互联网信息平台快速增长,数据向平台大规模集中。
大数据与云计算、物联网、人工智能等新一代信息技术之间相互影响、相互促进、相互融合。徐强说,运满满通过车联网设备和信息平台,每天获取3TB至4TB的数据,运用先进的大数据算法模型,实现了智能车货匹配、智能实时调度等。
樊会文认为,云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。简单来说,云计算是大数据的基础,有了云计算才能大量集中数据从而产生大数据。同时,大数据也支撑了云计算应用创新,带动云计算发展。
人工智能的核心在于大数据支撑。围棋人工智能程序“阿尔法狗”打败柯洁,离不开大数据的支持。“大数据技术能够通过数据采集、分析等方式,从海量数据中快速获得有价值的信息,为深度学习等人工智能算法提供坚实的素材基础。反过来,人工智能技术也促进了大数据技术的进步。两者相辅相成,任何一方技术的突破都会促进另外一方的发展。”潘文说。
核心价值在于应用
刚刚过去的“6·18”再次掀起网购热潮。网购消费者基本都被精准推送过广告信息,如曾浏览过电饭煲的消费者,很长一段时间内会在登录页面后看到各品牌电饭煲信息。
阿里、京东、360等互联网平台接触消费者众多,也因此获得了很多数据。但是正如精准推送一样,不对这些数据进行处理、挖掘就没法产生价值。比如雷沃收割机传回的数据进行汇总后还要分析处理,从而得出对收割作业乃至整个农业都有意义的结论才是这些数据的价值所在。
“大数据作为重要的基础性战略资源,核心价值在于应用,在于其赋值和赋能作用,在于对大量数据的分析和挖掘后所带来的决策支撑,能够为我们的生产生活、经营管理、社会治理、民生服务等各方面带来高效、便捷、精准的服务。”李冠宇强调。
我们正在步入万物互联时代。华为预测,到2025年,物联网设备的数量将接近1000亿个。工信部统计数据显示,目前我国网民数量超过7亿,移动电话用户规模已经突破13亿,均居世界第一。
“全球数据总量呈现指数级增长,企业级用户拥有的数据量在快速增加。互联网的社会化生产出巨量数据。”樊会文说。
大数据产业也因此有了稳步增长的基础。据潘文介绍,2016年我国大数据核心产业规模达到3100亿元,按照工信部今年年初发布的《大数据产业发展规划(2016—2020年)》,预计到2020年将达到1万亿元的规模。
“2016年,我国两批次8个国家级大数据综合试验区开始建设,大数据集聚发展布局初步形成,各区域特色化发展态势初现。以阿里巴巴为代表的大数据企业不断创新,开源技术成为大数据技术创新和产业进步的重要力量。大数据在金融、电信、交通等行业领域不断深化应用,催生着新业态,加速着产业升级。”潘文说。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
用 SQL 生成逆向回滚 SQL:数据操作的 “后悔药” 指南 在数据库操作中,误删数据、错改字段或误执行批量更新等问题时有发生。 ...
2025-07-14如何考取数据分析师证书:以 CDA 为例 在数字化浪潮席卷各行各业的当下,数据分析师已然成为企业挖掘数据价值、驱动决策的 ...
2025-07-14t检验与Wilcoxon检验的选择:何时用t.test,何时用wilcox.test? t 检验与 Wilcoxon 检验的选择:何时用 t.test,何时用 wilcox. ...
2025-07-14AI 浪潮下的生存与进阶: CDA数据分析师—开启新时代职业生涯的钥匙(深度研究报告、发展指导白皮书) 发布机构:CDA数据科 ...
2025-07-13LSTM 模型输入长度选择技巧:提升序列建模效能的关键 在循环神经网络(RNN)家族中,长短期记忆网络(LSTM)凭借其解决长序列 ...
2025-07-11CDA 数据分析师报考条件详解与准备指南 在数据驱动决策的时代浪潮下,CDA 数据分析师认证愈发受到瞩目,成为众多有志投身数 ...
2025-07-11数据透视表中两列相乘合计的实用指南 在数据分析的日常工作中,数据透视表凭借其强大的数据汇总和分析功能,成为了 Excel 用户 ...
2025-07-11尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08LSTM 输出不确定的成因、影响与应对策略 长短期记忆网络(LSTM)作为循环神经网络(RNN)的一种变体,凭借独特的门控机制,在 ...
2025-07-07统计学方法在市场调研数据中的深度应用 市场调研是企业洞察市场动态、了解消费者需求的重要途径,而统计学方法则是市场调研数 ...
2025-07-07CDA数据分析师证书考试全攻略 在数字化浪潮席卷全球的当下,数据已成为企业决策、行业发展的核心驱动力,数据分析师也因此成为 ...
2025-07-07