
我们的时代是数据日益渗透生活的时代,大数据与人们的生产生活有着越来越密切的关系。近期来,不少读者向本报反映,希望了解关于大数据的许多问题,我们从中梳理了六个问题,组织专业记者,深入采访业内专家,努力探寻答案,以满足广大读者的探问。
刚刚闭幕的2017中国国际大数据产业博览会又为火热的大数据产业添了一把火,博览会签约金额达167亿余元,签约意向金额为256亿元左右。这一全球首个以大数据为主题的展会,再一次撩起了大数据的神秘面纱,展示了大数据的大能量,一个通过加工处理数据来创造价值的产业正在迅猛发展。
什么是大数据 有一个故事,说的是一位顾客订购披萨时,披萨店可以立即调出这位顾客的许多信息,比如送披萨上门必有的家庭、单位等地址和电话,顾客的消费习惯从而推荐适合他的披萨种类,顾客名下的银行卡透支情况从而确定他的支付方式,甚至顾客要自取披萨时,还能根据顾客名下车辆的停放位置预估他的到店时间等等。
从这个故事,我们可以看出大数据的一些关键特征,比如容量大、类型多、关联性强、有价值等等。“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合,正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”工信部信息化和软件服务业司副司长李冠宇接受经济日报·中国经济网记者采访时说。
仅仅规模大不是大数据
大数据,顾名思义,“大”该是应有之义。“大数据的定义最初与容量有关系。”李冠宇分析说,业界有几种对大数据的定义,其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。
正如中国电子信息产业发展研究院副院长樊会文接受记者采访时指出的,大数据概念产生就是因为数据量和数据类型急剧增加,以至于原有的数据存储、传输、处理以及管理技术不能胜任,需要全新的技术工具和手段。
信息技术日新月异,大数据的定义也在发生变化。工信部赛迪研究院软件所所长潘文说,数据即时处理的速度(Velocity)、数据格式的多样化(Variety)与数据量的规模(Volume)被称为大数据“3V”。但随着近几年数据的复杂程度越来越高,“3V”已不足以定义新时代的大数据,准确性(Veracity)、可视性(Visualization)、合法性(Validity)等特性又被加入大数据的新解,从“3V”变成了“6V”。
对于“多大容量的数据才算大数据”,潘文说,大数据的规模并没有具体的标准,仅仅规模大也不能算作大数据。规模大本身也要从两个维度来衡量,一是从时间序列累积大量的数据,二是在深度上更加细化的数据。
李冠宇说,比如一份现在看起来很小的数据,但是纵向积累久了也可以变成大数据,横向与其他数据关联起来也可能形成大数据。而一份很大的数据如果没有关联性、没有价值也不是大数据。
运满满研究院院长徐强认为,“大”是必要条件,但非充分条件。基于移动互联网用户规模红利,国内平台型企业比较容易获取大量数据,但数据不是越多越好,无用数据就像噪音,会给数据分析、清洗、脱敏和可视化带来负担。
这也正如阿里巴巴集团董事局主席马云在某次演讲中说的:“很多人以为大数据就是数据量很大,其实大数据的大是大计算的大,大计算+数据,称之为大数据。”
“水涨船高”的大数据
今年麦收时节,在雷沃重工的全国“三夏”跨区作业信息服务中心,显示屏的全国电子地图上有许多大小不一、颜色不同的圆圈,这是每个区域正在作业的收割机。智能化的收割机会自动获得许多数据,包括机器运行情况、收割量、小麦含水量等,数据传回后台汇总后,总体收割情况一目了然。
“大数据概念正是来自信息技术的飞速发展和应用,特别是随着云计算、物联网、移动互联网的应用,数据量迅猛增长。数据来源有两种,一种与人有关,比如政府、企业等为人们服务时产生的数据;另一种与物有关,在移动泛在、万物互联时代,物联网应用的浪潮将带动数据量爆发式增长。”李冠宇说。
这也就不难理解,为何当下数据产生的速度如此之快。正如樊会文所分析的,一方面,信息终端大面积普及,信息源大量增加;另一方面,基于云计算的互联网信息平台快速增长,数据向平台大规模集中。
大数据与云计算、物联网、人工智能等新一代信息技术之间相互影响、相互促进、相互融合。徐强说,运满满通过车联网设备和信息平台,每天获取3TB至4TB的数据,运用先进的大数据算法模型,实现了智能车货匹配、智能实时调度等。
樊会文认为,云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。简单来说,云计算是大数据的基础,有了云计算才能大量集中数据从而产生大数据。同时,大数据也支撑了云计算应用创新,带动云计算发展。
人工智能的核心在于大数据支撑。围棋人工智能程序“阿尔法狗”打败柯洁,离不开大数据的支持。“大数据技术能够通过数据采集、分析等方式,从海量数据中快速获得有价值的信息,为深度学习等人工智能算法提供坚实的素材基础。反过来,人工智能技术也促进了大数据技术的进步。两者相辅相成,任何一方技术的突破都会促进另外一方的发展。”潘文说。
核心价值在于应用
刚刚过去的“6·18”再次掀起网购热潮。网购消费者基本都被精准推送过广告信息,如曾浏览过电饭煲的消费者,很长一段时间内会在登录页面后看到各品牌电饭煲信息。
阿里、京东、360等互联网平台接触消费者众多,也因此获得了很多数据。但是正如精准推送一样,不对这些数据进行处理、挖掘就没法产生价值。比如雷沃收割机传回的数据进行汇总后还要分析处理,从而得出对收割作业乃至整个农业都有意义的结论才是这些数据的价值所在。
“大数据作为重要的基础性战略资源,核心价值在于应用,在于其赋值和赋能作用,在于对大量数据的分析和挖掘后所带来的决策支撑,能够为我们的生产生活、经营管理、社会治理、民生服务等各方面带来高效、便捷、精准的服务。”李冠宇强调。
我们正在步入万物互联时代。华为预测,到2025年,物联网设备的数量将接近1000亿个。工信部统计数据显示,目前我国网民数量超过7亿,移动电话用户规模已经突破13亿,均居世界第一。
“全球数据总量呈现指数级增长,企业级用户拥有的数据量在快速增加。互联网的社会化生产出巨量数据。”樊会文说。
大数据产业也因此有了稳步增长的基础。据潘文介绍,2016年我国大数据核心产业规模达到3100亿元,按照工信部今年年初发布的《大数据产业发展规划(2016—2020年)》,预计到2020年将达到1万亿元的规模。
“2016年,我国两批次8个国家级大数据综合试验区开始建设,大数据集聚发展布局初步形成,各区域特色化发展态势初现。以阿里巴巴为代表的大数据企业不断创新,开源技术成为大数据技术创新和产业进步的重要力量。大数据在金融、电信、交通等行业领域不断深化应用,催生着新业态,加速着产业升级。”潘文说。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Excel 导入数据含缺失值?详解 dropna 函数的功能与实战应用 在用 Python(如 pandas 库)处理 Excel 数据时,“缺失值” 是高频 ...
2025-09-16深入解析卡方检验与 t 检验:差异、适用场景与实践应用 在数据分析与统计学领域,假设检验是验证研究假设、判断数据差异是否 “ ...
2025-09-16CDA 数据分析师:掌控表格结构数据全功能周期的专业操盘手 表格结构数据(以 “行 - 列” 存储的结构化数据,如 Excel 表、数据 ...
2025-09-16MySQL 执行计划中 rows 数量的准确性解析:原理、影响因素与优化 在 MySQL SQL 调优中,EXPLAIN执行计划是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 对象的 text 与 content:区别、场景与实践指南 在 Python 进行 HTTP 网络请求开发时(如使用requests ...
2025-09-15CDA 数据分析师:激活表格结构数据价值的核心操盘手 表格结构数据(如 Excel 表格、数据库表)是企业最基础、最核心的数据形态 ...
2025-09-15Python HTTP 请求工具对比:urllib.request 与 requests 的核心差异与选择指南 在 Python 处理 HTTP 请求(如接口调用、数据爬取 ...
2025-09-12解决 pd.read_csv 读取长浮点数据的科学计数法问题 为帮助 Python 数据从业者解决pd.read_csv读取长浮点数据时的科学计数法问题 ...
2025-09-12CDA 数据分析师:业务数据分析步骤的落地者与价值优化者 业务数据分析是企业解决日常运营问题、提升执行效率的核心手段,其价值 ...
2025-09-12用 SQL 验证业务逻辑:从规则拆解到数据把关的实战指南 在业务系统落地过程中,“业务逻辑” 是连接 “需求设计” 与 “用户体验 ...
2025-09-11塔吉特百货孕妇营销案例:数据驱动下的精准零售革命与启示 在零售行业 “流量红利见顶” 的当下,精准营销成为企业突围的核心方 ...
2025-09-11CDA 数据分析师与战略 / 业务数据分析:概念辨析与协同价值 在数据驱动决策的体系中,“战略数据分析”“业务数据分析” 是企业 ...
2025-09-11Excel 数据聚类分析:从操作实践到业务价值挖掘 在数据分析场景中,聚类分析作为 “无监督分组” 的核心工具,能从杂乱数据中挖 ...
2025-09-10统计模型的核心目的:从数据解读到决策支撑的价值导向 统计模型作为数据分析的核心工具,并非简单的 “公式堆砌”,而是围绕特定 ...
2025-09-10CDA 数据分析师:商业数据分析实践的落地者与价值创造者 商业数据分析的价值,最终要在 “实践” 中体现 —— 脱离业务场景的分 ...
2025-09-10机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08