大数据时代 | 数据分析方法及理论详解
1 数据分析前,我们需要思考
像一场战役的总指挥影响着整个战役的胜败一样,数据分析师的思想对于整体分析思路,甚至分析结果都有着关键性的作用。
2 分析问题和解决问题的思路
定义问题(重要步骤之一):
1)首先,要搞清楚问题的实质,准确、完整、真实地表达问题。
2)其次,弄清楚为什么要解决这个问题?
3)最后,解决这个问题的意义何在?是必须解决还是无关紧要,或是需要马上解决这个问题还是不太着急。
收集整理信息:
搜集、整理关于要解决问题的历史资料、类似情况和现状。例如,从现有的报表数据中就能看到当前问题点的数据情况或者一段时间的趋势;
选取分析方法:
1)分析涉及到的主要维度,为后面提取数据需求做准备;
2)选取的分析软件以及分析方法(统计学相关方法);
数据提取整理(重要步骤之二):
1)根据分析内容以及分析方法,提出分析所需的数据需求;
2)对于反馈回来的数据,需要进行部分加工,以便更能反映所要分析的问题;
分析结果及结论:
1)根据分析的结果,得出一些当前问题产生的一些结论。这里注意分析的方法以及维度,结果的展示方式等。
2)结论需要足够的数据作支撑;
实施及建议措施:
1)针对数据分析结论,给出当前问题的解决建议措施;
2)一方面从业务层面进行建议措施。另一方面,可以就问题点进行更深层次分析,给出数据挖掘层面的解决措施;
实施效果评估及报告整理:
1)根据措施实施效果进行评估,将完成的分析过程、结果以及评估整理报告,为以后出现问题提供经验教训;
2)对于本次没有完全解决的问题,进行说明。
3 精确地陈述问题
5W2H法:
5W:What、When、Where、Who、Why;
2H:How many、How much;
Where——哪里存在问题?
What——存在的问题是什么?
Why——原因在哪里?
When——什么时候开始出现这样的问题?
Who——与什么对象有关?
How many——发生的次数和数量?
How much——损失有多大?
4 问题展示方式
问题结构是由现状、直接原因以及最终原因构成的。针对直接原因进行的叫初步问题分析、针对最终原因进行分析的叫深层及问题分析。
5 分析方法
统计方法的三大特性,用三句话来简单概括:
1)实用性:除了实情,数据能证明一切;
2)丰富性:统计揭露出的部分固然明晰,没揭露出来的或许更重要;
3)公平性:每个人都应当用数据说话。
6 描述性统计分析
“五点法”:最小值、1/4分位数、均值、3/4分位数、最大值;
“两度”:峰度、偏度
六西格玛:
7 变量分析方法选取
8 数据挖掘分析
按挖掘方法分类:包括统计方法、机器学习方法、神经网络方法和数据库方法。
其中:
1)统计方法可分为:判别分析(贝叶斯判别、费谢尔判别、非参数判别等),聚类分析(系统聚类、动态聚类等),探索性分析(主成分分析等)等。
2)机器学习方法可分为:归纳学习方法(决策树、规则归纳等),基于范例学习,遗传算法等。
3)神经网络方法可分为:前向神经网络(BP算法等),自组织神经网络(自组织特征映射、竞争学习等)。
4)数据库方法分为:多维数据分析和OLAP技术,此外还有面向属性的归纳方法。
关联规则:关联规则反映一个事物与其他事物之间的相互依存性和关联性,如果两个事物或者多个事物之间存在一定的关联关系,那么其中一个事物就能够通过其他事物预测到。
9 选取分析所需的相关数据
10 数据质量的评估
在现实社会中,存在着大量的“脏数据”:
不完整性(数据结构的设计人员、数据采集设备和数据录入人员):
1)缺少感兴趣的属性
2)感兴趣的属性缺少部分属性值
3)仅仅包含聚合数据,没有详细数据
噪音数据(采集数据的设备、数据录入人员、数据传输):
1)数据中包含错误的信息
2)存在着部分偏离期望值的孤立点
不一致性(数据结构的设计人员、数据录入人员):
1)数据结构的不一致性
2)Label的不一致性
3)数据值的不一致性
数据类型冲突:
1)性别:string(Male、Female)、Char(M、F)、Integer(0、1)
2)日期:Date、DateTime、Sting
数据标签冲突:解决同名异义、异名同义:
学生成绩、分数
度量单位冲突:
1)学生成绩
a.百分制:100~0
b.五分制:A、B、C、D、E
c.字符表示:优、良、及格、不及格
概念不清:
最近交易额:前一个小时、昨天、本周、本月
聚焦冲突:根源在于表结构的设计
11 数据的清洗处理
主要任务:
补充缺失数据
识别孤立点
处理不一致的数据
处理方法:
分箱(Binning)的方法:
聚类方法:检测并消除异常点
线性回归:对不符合回归的数据进行平滑处理
人机结合共同检测:由计算机检测可疑的点,然后由用户确认
12 怎样将分析的结果呈现出来
►指标分析与政策分析并重
►反映重点问题、实事求是
►材料、数据要真实,论据要有说服力
13 分析结果呈现基本原则
数据分析结果呈现准备工作:
确定表达的主题:
►使用图形的目的:
将思想和观点形象化地表达,加深读者或听众的印象
►使用图标时,必须明确通过图表要表达的信息是什么
确定对比关系:
►同一类别不同项目间的对比
►不同类别不同项目间的对比
14 如何用图来表示数据
15 常见的分析模式
内容决定形式、形式服务于内容,当形式经过时间考验被普遍接受后就固化成一种模式。
16 分析总结及建议措施
建议措施分类:业务层面;数据挖掘
17 实施效果评估及报告整理
1)营销活动效果反馈数据,分析对于问题的解决程度
2)业务模型优化提升
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14