
大数据背景下数据解读与挖掘的变革
大数据浪潮的来袭,如同互联网的发明一样,必将引起一场革命。
而对于以全数据、混杂性和相关性等著称的大数据而言,首先要变革的就是对数据的解读与挖掘。
在新形势下,如何围绕经济社会发展目标和中心工作,克服传统数据收集成本高、综合开发利用率不高、难以满足政府宏观决策以及企业、社会团体、研究机构和个人的个性化需要等不足,不断提高数据解读和挖掘能力,成为各级部门亟待解决的重大课题。
统计理念、方法及服务的转变
美国政府于2012年3月宣布“大数据的研究和发展计划”,以提高对大数据的收集与分析能力,增强国家竞争力。英国、德国等国家也把大数据提升到国家战略层面,认为未来国家层面的竞争力将部分体现为一国拥有数据的规模及运用数据的能力。有学者把大数据形象地比喻为推动人类社会发展的“新石油”。在大数据时代,拥有大数据是一种幸福和特权,也是一种战略、世界观和习惯。大数据建立在统计学的基础上。在大数据时代,统计分析更加重要,但它与传统的统计方法又有许多不同。在传统统计学中,我们所做的统计工作,主要是试图通过最小量的样本来观察、评估和预测经济社会内在的发展和运行规律。由于数据的采集、储存和分析的成本高,往往采用抽样的方法。而在大数据时代,我们收集与所研究现象相关的是所有可获得的数据,而且是自动生成的,这是传统抽样方法做不到的。另一个不同是,在统计学中,进行分析时考虑的是往往与研究对象具有内在关系的因素。此外,统计工作过去主要服务于各级政府经济社会运行管理和宏观决策工作,服务对象相对比较单一;但在大数据时代,人人都需要通过数据分析结果来进行决策,大到政府宏观决策、项目可行性研究报告,小到个人投资兴业、寻常购物,个性化需求的数量急骤上升,统计服务的广度、宽度和深度都比过去有了本质的变化。
借助于高性能的数据分析工具
数据的最大价值在于开发利用,在于指导和预测未来。没有数据的开发,再大再全再真实的数据也没有实际价值。随着科技的进步,移动互联网、物联网、购物网等迅速发展,使新数据源不断出现,GPS、传感器等数据持续、不间断地大量产生,数据获取成本、存储成本和处理成本的持续下降,推动着数据量的进一步膨胀,全球数据总量正呈几何级数增长,过去3年间产生的数据量超过以往人类历史累积的总和。
传统的数据分析技术已远远满足不了需求,难以及时分析和处理这些数量庞大又变化迅速的数据,难以及时分析挖掘出个性化、有利用价值的数据信息。如果不能借助于高性能的分析工具,对海量的数据进行及时有效处理,大数据的内在价值就难以得到有效释放。新数据分析技术和旧技术的不同之处在于:一方面,数据量呈几何级数的迅速膨胀,要求数据挖掘和统计分析技术性能的飞跃。另一方面,不同规模的企业如今都面临大数据时代带来的挑战,分析技术必须朝着平民化、扁平化、易操作化发展:简单易懂、便于操作,并能为不同行业、不同类型的企业所用。大数据时代带来不是单纯数据资源的增加,还有更加先进、快捷的科研技术设施,更方便的数学分析工具,同时也意味着更加信息化、电子化。当然,各级政府统计部门、特大型企业也会在大数据分析的基础上改进决策,努力增强宏观经济政策的前瞻性和有效性,切实提高各级经济组织在市场经济大环境下统筹和运用资源的效率。
处理好数据应用广泛性与数据安全性的关系
大数据对人类经济社会的发展影响巨大,归纳起来主要有三个方面:一是能够推动实现巨大经济效益。据麦肯锡全球研究院的测算,大数据将给美国医疗服务业带来3000亿美元的价值,使美国零售业净利润增长达到60%,使制造业产品开发、组装成本下降了50%。而大数据所带来的新的信息技术应用需求,将推动整个信息技术产业的创新发展,预计2013年全球大数据直接和间接拉动信息技术支出将达到1200亿美元。二是能够推进增强社会管理水平。大数据在政府和公共服务领域的应用,可有效推动政务工作的开展,提高政府部门的决策水平、服务效率和社会管理水平,产生巨大社会价值。三是能够推动提高安全保障能力。
大数据在国防、反恐、安全等领域的应用,将对各部门搜集到的各类信息进行自动分类、整理、分析,有效解决情报、监视和侦察系统不足等问题,提高国家安全保障能力。总而言之,大数据将为人们认识世界和改造世界提供新的强有力工具,帮助人们更客观地了解赖以生存和发展的社会环境,更容易地把握事物发展的内在规律,更准确地预测未来发展趋势,更有效地进行决策,做出更加明智的选择。
此外,任何事物都有其两面性。在充分认识大数据带来的机遇和利益的同时,也应该认识到大数据带来的可能性风险。大数据时代令隐私保护问题更加突出,必然会导致人们更多的个人信息被搜集和捕捉,这势必会使很多人感到不舒服甚至不安。数据量巨大、非结构性强、来源庞杂,当它超出我们的控制范围时,不可预测的问题就将发生。对大数据进行集中管理会使其变得更容易查找,而且便于混合提取不同类别的数据。但是集中管理可能会造成更严重的问题:一是可能沦为恐怖分子的袭击目标,二是会赋予管理机构过于集中的信息掌控权。
对大数据分析资料的应用必须保持清醒的认识,既不能盲目迷信其分析结果,也不能因为其难以做到比较精准而否定其重要作用。一方面,由于各种主观和客观原因的存在,我们所分析处理的大批大量数据对象中不可避免地包含有各种各样的错误数据、无用数据,加之作为大数据技术核心的数据分析、人工智能等技术手段尚未完全成熟,对计算机完成的大数据分析处理的结果,无法要求其做到完全准确。另一方面,大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维,辅助决策。简单而言,若是处理一个问题,通常人能够想到一种方法,而大数据能够提供若干种参考方法,哪怕其中只有三种可行,也将解决问题的思路拓展了三倍。所以,客观认识和发挥大数据的作用,不夸大、大缩小,是准确认知和应用大数据的前提。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
SASEM 决策树:理论与实践应用 在复杂的决策场景中,如何从海量数据中提取有效信息并制定科学决策,是各界关注的焦点。SASEM 决 ...
2025-07-30SPSS 语法使用详解 在当今数据驱动的时代,SPSS( Statistical Package for the Social Sciences)作为一款功能强大的统计分析软 ...
2025-07-30人工智能对CDA数据分析领域的影响 人工智能对 CDA(Certified Data Analyst,注册数据分析师)数据分析领域的影响是全方位、多层 ...
2025-07-30MySQL执行计划中rows的计算逻辑:从原理到实践 MySQL 执行计划中 rows 的计算逻辑:从原理到实践 在 MySQL 数据库的查询优化中 ...
2025-07-29左偏态分布转正态分布:方法、原理与实践 左偏态分布转正态分布:方法、原理与实践 在统计分析、数据建模和科学研究中,正态分 ...
2025-07-29CDA 数据分析师的职业生涯规划:从入门到卓越的成长之路 在数字经济蓬勃发展的当下,数据已成为企业核心竞争力的重要来源,而 CD ...
2025-07-29CDA数据分析师证书考取全攻略 一、了解 CDA 数据分析师认证 CDA 数据分析师认证是一套科学化、专业化、国际化的人才考核标准, ...
2025-07-29解析神经网络中 Softmax 函数的核心作用 在神经网络的发展历程中,激活函数扮演着至关重要的角色,它们为网络赋予了非线性能力, ...
2025-07-29解析 response.text 与 response.content 的核心区别 在网络数据请求与处理的场景中,开发者经常需要从服务器返回的响应中提取数 ...
2025-07-29鸢尾花判别分析:机器学习中的经典实践案例 在机器学习的世界里,有一个经典的数据集如同引路明灯,为无数初学者打开了模式识别 ...
2025-07-29用 Python 开启数据分析之旅:从基础到实践的完整指南 在数据驱动决策的时代,数据分析已成为各行业不可或缺的核心能力。而 Pyt ...
2025-07-29从 CDA LEVEL II 考试题型看 Python 数据分析要点 在数据科学领域蓬勃发展的当下,CDA(Certified Data Analyst)认证成为众多从 ...
2025-07-29CDA 数据分析师的工作范围解析 在数字化时代的浪潮下,数据已成为企业发展的核心资产之一。CDA(Certified Data Analyst)数据分 ...
2025-07-29解析 insert into select 是否会锁表:原理、场景与应对策略 在数据库操作中,insert into select 是一种常用的批量数据插入语句 ...
2025-07-29用 Power BI 制作地图热力图:基于经纬度数据的实践指南 在数据可视化领域,地图热力图凭借直观呈现地理数据分布密度的优势,成 ...
2025-07-29从数据到决策:CDA 数据分析师如何重塑职场竞争力与行业价值 在数字经济席卷全球的今天,数据已从 “辅助工具” 升级为 “核心资 ...
2025-07-292025 年 CDA 数据分析师考纲焕新,引领行业人才新标准 在数字化浪潮奔涌向前的当下,数据已成为驱动各行业发展的核心要素。作为 ...
2025-07-29PyTorch 核心机制:损失函数与反向传播如何驱动模型进化 在深度学习的世界里,模型从 “一无所知” 到 “精准预测” 的蜕变,离 ...
2025-07-29t 检验与 Wilcoxon 检验:数据差异分析的两大核心方法 在数据分析的广阔领域中,判断两组或多组数据之间是否存在显著差异是一项 ...
2025-07-29PowerBI 添加索引列全攻略 在使用 PowerBI 进行数据处理与分析时,添加索引列是一项极为实用的操作技巧。索引列能为数据表中的每 ...
2025-07-29