京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据时代影响统计的三大思维转变
现在社会有一种观念,那就是大数据时代已经到来,上到国家,下到单位,都把大数据当做未来的发展战略。当大数据这一观点出现时,便引起了全球范围内广泛的反响,似乎所有的商业或组织活动都可视为大数据问题。大数据时代的到来,正在对社会济各个方面产生冲击,而与数据打交道的“统计”学,大数据概念将对其产生何种影响?产生什么样的影响呢?
统计学是关于数据的科学,即研究如何收集、整理和分析数据的科学。数据是依据,是根本,是一个分析结果的灵魂,是统计方法生命力的根源所在,大数据时代的统计首先要适应三个重大的思维转变。
第一,不分析少量的样本数据,而是要分析与事物相关的所有数据。
统计往往希望用尽可能少的数据来证实可能重大的发现、假设等,小数据时代一般采用随机采样,用最少的数据获得最多的信息。统计抽样是在技术受限的条件下,解决当时存在的一些问题而产生的;如今的大数据时代,计算和制表不再像过去那样困难,感应器、手机导航、网站点击和微博等能够收集大量数据,而计算机也能够轻易处理。因此,在处理大数据时不再来用随机抽样的方法,而利用所有数据进行分析。例如:谷歌流感趋势预测并不是依赖于对随机抽样的分析,而是分析了整个美国几十亿条互联网检索记录而得到的结论。分析整个数据库,而不是对一个样本进行分析,能够提高微观层面分析的准确性,甚至能够推测出任何特定尺度的数据特征。
第二,不再追求百分百精确性,接受数据的复杂多样性。
与大数据不同的是,对小数据而言,最基本、最重要的要求是减少误差,保证数据质量。生活于信息时代的我们,掌握的数据越来越全面,不再只包括手头现象的一点点可怜数据,而是包括了与之相关的大量级数据甚至全部数据。人们不再那么担心某个数据点对整套分析的不利影响,要做的是接受纷繁的数据并从中受益。大数据要求人们能够接受混乱和允许不精确性,例如一个小商店晚上打烊的时候要把收银台里的每分钱都数清楚,但如果用“分”这个单位来精确计算国内生产总值显然不适用。大数据时代,随着数据规模的扩大,人们对数据精确度的痴迷将逐步减弱。
第三,不再探求难以捉摸的因果关系,转而关注事物的相关关系。
大数据时代,由于坐拥海量数据和良好的机器计算能力,相关关系分析为人们提供了一系列新的视野和有用的预测,能够找出新种类数据间的相互联系来解决日常需要。例如:如果电子医疗记录显示橙汁和阿司匹林的特定组合可以治疗癌症,那么找出具体的致病原因就没有通过相关关系而获得的这种治疗方法来得重要;亚马逊根据用户在其网站上的类似查询来进行产品推荐,也是大数据相关关系的典型应用。通过探求“是什么”而不是“为什么”,能够帮助人们更好地了解这个世界。
大数据时代已经到来,它实实在在地在影响我们的生活,给予我们便利,而随着它的深度渗入,我们的改变是必然的,转变思维,不一成不变,才是我们发展的所在。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 MySQL 实际应用中,“频繁写入同一表” 是常见场景 —— 如实时日志存储(用户操作日志、系统运行日志)、高频交易记录(支付 ...
2025-10-30为帮助教育工作者、研究者科学分析 “班级规模” 与 “平均成绩” 的关联关系,我将从相关系数的核心定义与类型切入,详解 “数 ...
2025-10-30对 CDA(Certified Data Analyst)数据分析师而言,“相关系数” 不是简单的数字计算,而是 “从业务问题出发,量化变量间关联强 ...
2025-10-30在构建前向神经网络(Feedforward Neural Network,简称 FNN)时,“隐藏层数目设多少?每个隐藏层该放多少个神经元?” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是:Excel 透 ...
2025-10-29在 CDA(Certified Data Analyst)数据分析师的工作中,“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中,“正态分布” 是许多统计方法(如 t 检验、方差分析、线性回归)的核心假设 —— 数据符合正态分布时,统计检验的 ...
2025-10-28箱线图(Box Plot)作为展示数据分布的核心统计图表,能直观呈现数据的中位数、四分位数、离散程度与异常值,是质量控制、实验分 ...
2025-10-28在 CDA(Certified Data Analyst)数据分析师的工作中,“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域,单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布,却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合,理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA(Certified Data Analyst)数据分析师而言,“假设检验” 绝非 “套用统计公式的机械操作”,而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中,“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”,直接决定了运营动作 ...
2025-10-24在卷积神经网络(CNN)的训练中,“卷积层(Conv)后是否添加归一化(如 BN、LN)和激活函数(如 ReLU、GELU)” 是每个开发者都 ...
2025-10-24在数据决策链条中,“统计分析” 是挖掘数据规律的核心,“可视化” 是呈现规律的桥梁 ——CDA(Certified Data Analyst)数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22