京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据可能带来思维模式的变化
所谓大数据,它是信息化到一定阶段之后,必然出现的一个现象,主要是由于信息技术的不断廉价化,以及互联网及其延伸所带来的无处不在的信息技术应用所带来的自然现象。基本上,大数据有四个驱动力,即摩尔定律所驱动的指数增长模式;技术低成本化驱动的万物的数字化;宽带移动泛在互联驱动的人机物广联连接;云计算模式驱动的数据大规模的汇聚。
当前,大数据开启了信息化的第三波浪潮。如果我们回顾来看,大体上能够看到两个明显的阶段的划分,一个是从PC机开始进入市场以来,带来了信息化的第一拨浪潮,这个浪潮差不多到90年代中期,这个时候的主要特征是单机应用为特征的数字化。过去的20年来,从90年代中期到现在,是以联网应用为特征的网络化。现在我们正在进入新的阶段,即以数据的深度挖掘和融合应用为特征的智慧化。
那么,到底什么才是大数据呢?这个定义可以从两个角度来谈。从技术能力的视角来说,大数据指的是规模超过现有数据库工具获取、存储、管理和分析能力的数据集,并同时强调并不是超过某个特定数量级的数据集才是大数据。
从数据内涵的视角来说,大数据是具备海量、高速、多样、可变等特征的多维数据集,需要通过可伸缩的体系结构实现高度的存储、处理和分析。
那么,大数据给我们带来什么样的挑战呢?我觉得最重要的东西,可能带来的是思维模式的变化。通过大数据,我们能够认识复杂系统的新思维,促进经济转型,提升国家综合能力保障国家安全,提升政府的治理能力以及服务民生服务社会的能力。
就我个人觉得,目前来讲,大数据开始还处在炒作的阶段,至少在我国炒作的热潮还没有过去,真正的大数据应用应该体现在数据挖掘的深度。
这是为什么呢?原因有三点:首先有我们当前对数据认识不到位的原因,还有在当今的情况下一宣传大家都对大数据很热衷,使其成为获取资源的一个途径。第二个,是大数据投入过热,资源的浪费比较明显,这方面的投入特别是数据中心的投入为典。
第三个,就是我们认为大数据的理论和技术都还处于发展的早期,尽管对大数据的定义已经有了共识,但是对它的核心观点和命题还是有很多争议的,比如说大和小到底怎么来定义等等。此外,从我们做计算领域研究的人来讲,总是希望能够为数据的处理方式提供一种手段,但当前数据科学的理论基础还没有,很多数据分析的结论基本上缺少因果,缺少理论知识,都是靠关联关系建立起来的。此外,大数据这个现象可能会长期的存在,对我们计算能力的挑战也是永恒的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在Power BI实操中,函数是实现数据清洗、建模计算、可视化呈现的核心工具——无论是简单的数据筛选、异常值处理,还是复杂的度量 ...
2026-02-13在互联网运营、产品迭代、用户增长等工作中,“留存率”是衡量产品核心价值、用户粘性的核心指标——而次日留存率,作为留存率体 ...
2026-02-13对CDA(Certified Data Analyst)数据分析师而言,指标是贯穿工作全流程的核心载体,更是连接原始数据与业务洞察的关键桥梁。CDA ...
2026-02-13在机器学习建模实操中,“特征选择”是提升模型性能、简化模型复杂度、解读数据逻辑的核心步骤——而随机森林(Random Forest) ...
2026-02-12在MySQL数据查询实操中,按日期分组统计是高频需求——比如统计每日用户登录量、每日订单量、每日销售额,需要按日期分组展示, ...
2026-02-12对CDA(Certified Data Analyst)数据分析师而言,描述性统计是贯穿实操全流程的核心基础,更是从“原始数据”到“初步洞察”的 ...
2026-02-12备考CDA的小伙伴,专属宠粉福利来啦! 不用拼运气抽奖,不用复杂操作,只要转发CDA真题海报到朋友圈集赞,就能免费抱走实用好礼 ...
2026-02-11在数据科学、机器学习实操中,Anaconda是必备工具——它集成了Python解释器、conda包管理器,能快速搭建独立的虚拟环境,便捷安 ...
2026-02-11在Tableau数据可视化实操中,多表连接是高频操作——无论是将“产品表”与“销量表”连接分析产品销量,还是将“用户表”与“消 ...
2026-02-11在CDA(Certified Data Analyst)数据分析师的实操体系中,统计基本概念是不可或缺的核心根基,更是连接原始数据与业务洞察的关 ...
2026-02-11在数字经济飞速发展的今天,数据已成为核心生产要素,渗透到企业运营、民生服务、科技研发等各个领域。从个人手机里的浏览记录、 ...
2026-02-10在数据分析、实验研究中,我们经常会遇到小样本配对数据的差异检验场景——比如同一组受试者用药前后的指标对比、配对分组的两组 ...
2026-02-10在结构化数据分析领域,透视分析(Pivot Analysis)是CDA(Certified Data Analyst)数据分析师最常用、最高效的核心实操方法之 ...
2026-02-10在SQL数据库实操中,字段类型的合理设置是保证数据运算、统计准确性的基础。日常开发或数据分析时,我们常会遇到这样的问题:数 ...
2026-02-09在日常办公数据分析中,Excel数据透视表是最常用的高效工具之一——它能快速对海量数据进行分类汇总、分组统计,将杂乱无章的数 ...
2026-02-09表结构数据作为结构化数据的核心载体,其“获取-加工-使用”全流程,是CDA(Certified Data Analyst)数据分析师开展专业工作的 ...
2026-02-09在互联网产品运营、用户增长的实战场景中,很多从业者都会陷入一个误区:盲目投入资源做推广、拉新,却忽视了“拉新后的用户激活 ...
2026-02-06在机器学习建模过程中,特征选择是决定模型性能的关键环节——面对动辄几十、上百个特征的数据(如用户画像的几十项维度、企业经 ...
2026-02-06在CDA(Certified Data Analyst)数据分析师的日常实操中,表格结构数据是贯穿全流程的核心载体,而对表格数据类型的精准识别、 ...
2026-02-06在日常办公数据分析中,我们经常会面对杂乱无章的批量数据——比如员工月度绩效、产品销售数据、客户消费金额、月度运营指标等。 ...
2026-02-05