大数据应用价值发现的三大方法
关于大数据的讨论,一方面人们需要厘清大数据的概念,开发适用的大数据系统和工具,探索大数据的应用模式等,另一方面人们更关心如何将大数据的价值变现。这对于一个企业来说尤其重要,否则,收集和存储了大量的数据,消耗了大量的钱财,如果大数据不能被很好地利用,从经济上讲就是不合算的,这样的事情也不会长远。
大数据价值的发现与其所处的应用场景密切相关。概括起来,大数据价值发现可以划分为三大类:数据服务、数据分析和数据探索。数据服务是面向大规模用户,提供高性能的数据查询、检索、预测等服务,通过直接满足用户需求而将数据价值变现的形式;数据分析是分析人员利用经验,通过对大规模数据使用特定的计算模型进行较为复杂的运算,从而发现易于人们理解的数据模式或规律所进行的数据价值变现的一种运算形式;数据探索是一种利用数据分析和人机交互的结合,通过不断揭示数据的规律和数据间的关联,引导分析人员发现并认识其所未知的数据模式或规律,其价值更多地体现在对未知途径的数据模式和规律的探索。
1. 数据服务
数据服务针对用户非常明确的数据查询和处理任务,以高性能和高吞吐量的方式实现大众化的服务,是数据价值最重要也是最直接的发现方式。由于要处理大众化的服务请求,每个服务任务必须能够被快速地处理掉,因此,数据服务的单个任务负载不能过于复杂,单任务直接处理的数据不能太大,任务对应的用户需求和采用的数据处理方法必须是明确的。一些典型的数据服务包括事务处理、数据查询、信息检索、数据预测。
事务处理是传统数据库范畴的价值发现形式,它针对的主要是任务关键型的数据服务,如银行记账、商业交易等; 数据查询主要是面向快速查找或修改数据的服务需求,它比事务处理更简单,对数据一致性要求没那么强,但对服务的吞吐量要求非常高;信息检索是指从大规模的数据集中快速查找满足用户需求的资料或数据片段的过程;数据预测和数据分类被很多人认为是一种数据分析任务,其实,很多针对个体的数据预测和分类任务实际上是一种数据服务,它使用数据分析得来的预测模型,对个体数据实例进行预测,从而能够高并发地为大规模用户提供分类和预测服务,进而更好地体现出数据的价值。
2. 数据分析
数据分析是指用适当的统计分析方法对大量数据进行分析或建模,提取有用信息并形成结论,进而辅助人们决策的过程。在这个过程中,用户会有一个明确的目标,通过“数据清理、转换、建模、统计”等一系列复杂的操作,获得对数据的洞察,从而协助用户进行决策。常见的数据分析任务又可以被进一步划分为描述型分析、诊断型分析、预测型分析、策略型分析。
描述型分析的主要特点是对数据代表的含义进行描述性的揭示,通过数据统计分析揭示数据隐含的现象,从而帮助人们更好地进行决策。
诊断型分析主要用来揭示一些现象背后的成因,因此,它比描述型分析更深入。很多数据挖掘方法与诊断型分析密切相关。比如相关性分析和因果关系的分析等,都是想通过对数据的深度分析揭示描述型分析所发现的某些现象背后的成因。
预测型分析主要是使用机器学习技术,对现有的大数据进行深度分析,构建数据预测和分类的模型,从而更好地支持数据预测和分类服务。
策略型分析也称指导型分析,是在分析过程中减少甚至排除人的参与,在给定目标的驱动下,直接帮助人们找到好的策略,作用于大数据应用,使得未来数据指标能够按照设想的某些趋势发展。它是数据分析的高级阶段,更能发挥出大数据的价值。
总之,数据分析一般基于大量数据和较为复杂的运算模型,其结果信息量通常很大,适用于宏观决策。而对于细节层面信息的获取,数据分析缺乏如索引和访问控制等方面的技术支持。如何在一个平台上,既支持宏观的分析,也支持细节的分析,是当今一个挑战的技术难题。
3. 数据探索
数据探索是指针对目标可变、持续、多角度的搜索或分析任务,其搜索过程是有选择、有策略和反复进行的。它将以找到信息为目的的传统信息检索模式变为以发现、学习和决策为目的的信息搜寻模式。这样的搜索模式结合了大量的数据分析与人机交互过程,适合于人们从数据中发现和学习更多的内容和价值。
对于数据探索,用户可以在微观层面(数据搜索)和宏观层面(数据分析)之间进行自由切换,用交互式的方式探索并发现数据的价值。
目前,随着大数据研究的兴起,探索式搜索这种交互式分析和探索数据价值的方式,逐渐引起人们的重视,还有很多问题等待研究者们进行深入的研究。
数据服务强调从微观层面获取满足用户需求的精准信息,数据分析强调从宏观层面为用户提供数据洞察,进而提供决策支持,而数据探索则需要在宏观和微观两个层面进行自由切换。大数据蕴含大价值,数据服务、数据分析和数据探索是3个层次的数据价值发现方法。在很多应用下,这3类方法需要混合使用,才能更好地发现大数据的价值。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14