cda

数字化人才认证

您的位置:首页 > 精彩阅读 > CDA LEVEL 1 考试,知识点汇总《数据分析概述》

CDA LEVEL 1 考试,知识点汇总《数据分析概述》

2021-03-08

一、基本概念

1.数据分析和数据挖掘的概念

数据分析(Data Analysis) 是以数据为分析对象,以探索数据内的有用信息为主要途径,以解决业务需求为最终目标,包含业务理解、数据采集、 数据清洗、数据探索、数据可视化数据建模、模型结果可视化、分析结果的业务应用等步骤在内的一整套分析流程。

数据挖掘(Data Mining) : 是一个跨学科的计算机科学分支,它是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发 现模式的计算过程。

2.数据分析的八个层次

数据分析的目的:发现有价值的信息、提出结论、为业务发展提供辅助决策。它描述了 ”过去发生了什么“、”现在 正在发生什么“ 和 “未来可能发生什么”。根据分析层次的级别不同,分为常规报表、即席查询、多维分析(又称钻 取或OLAP)、警报、统计分析、预报(或者时间序列预测)、预测型建模(Predictive Model)和优化。

CDA LEVEL 1 考试,知识点汇总《数据分析概述》

3.大数据对传统小数据的拓展及其区别与联系

数据上:小数据重抽样,大数据重全体。由于传统小数据分析的本质是基于样本推断总体,因此在分析过程中十分 注重抽样的科学性。只有抽样是科学的,其推断结果才具有科学意义。而大数据虽然不一定是总体,但由于在建模 方法上已经更偏向于机器学习,因此抽样已经不是必要的手段和方法论了。

方法上:小数据重实证,大数据重优化。传统的小数据在方法上更重视实证研究,强调在相关理论的前提下建立假设,收集数据,建立模型并验证假设。而大数据往往更重视方法论中的自我迭代和自我优化过程,可能运算的第一 个结果与标准答案相差甚远,但是可以通过与正确答案的不断校准(往往建立损失函数),使得模型的精度不断提高。

目标上:小数据重解释,大数据重预测。小数据的分析往往注重归因分析,探索变量之间的内部影响机理,例如究竟什么样的生活习惯会提高癌症的发病率。但是大数据往往关心的是对于未知对象的预测,例如判别某个人是否患有癌症,或者患有癌症的概率是多少。

4.数据分析目标的意义、过程及其本质

可以认为数据分析涉及到公司运营的方方面面,这包括对企业部门经营情况的评估、内部员工的管理、生产流程的监管、 产品结构优化与新产品开发、财务成本优化、市场结构的分析和客户关系的管理。其中,关于客户与市场的数据分析是 “重头戏”。下面以客户全生命周期管理为例介绍数据分析运用场景和挖掘主题,如下图所示。

CDA LEVEL 1 考试,知识点汇总《数据分析概述》

二、数据挖掘 方法论

1.CRISP-DM 方法论

CRISP-DM方法论将数据挖掘项目生命周期分为6个阶段,它们分别是业务理解、数据理解、数据准备、建模、模型评 估和模型发布,如下图所示。

下图呈现了通用数据挖掘方法论(CRISP-DM)流程的6个阶段。下面简短地介绍了每个阶段的要点。

CDA LEVEL 1 考试,知识点汇总《数据分析概述》

业务理解(Business Understanding) 该初始阶段集中在从商业角度理解项目的目标和要求,通过理论分析转化为数据挖掘可操作的问题,制定实现目标的初 步计划。

数据理解(Data Understanding) 数据理解阶段开始于原始数据的收集,然后是熟悉数据、标明数据质量问题、探索对数据的初步理解、发觉有趣的子集 以形成对探索关系的假设。

数据准备(Data Preparation) 数据准备阶段包括所有从原始的、未加工的数据构造数据挖掘所需信息的活动。数据准备任务可能被实施多次,而且没 有任何规定的顺序。这些任务的主要目的是从源系统根据维度分析的要求,获取所需要的信息,需要对数据进行转换和 清洗。

建模(Modeling) 在此阶段,主要是选择和应用各种建模技术,同时对它们的参数进行校准,以达到最优值。通常对同一个数据挖掘问题 类型,会有多种建模技术。一些技术对数据格式有特殊的要求,因此,常常需要返回到数据准备阶段。

模型评估(Evaluation) 在模型最后发布前,根据商业目标评估模型和检查建立模型的各个步骤。此阶段关键目的是,判断是否存在一些重要的 商业问题仍未得到充分考虑。

模型发布(Deployment) 模型完成后,由模型使用者(客户)根据当时背景和目标完成情况,决定如何在现场使用模型。比如,在网页的实时个 人化中或营销数据的重复评分中。

2.SEMMA 方法论

SAS公司的数据挖掘项目实施方法论,对CRISP-DM方法中的数据准备和建模环节进行了拓展,被称为SEMMA方法, 如下图所示。

CDA LEVEL 1 考试,知识点汇总《数据分析概述》

3.5个步骤中的主要任务,如下图所示。

CDA LEVEL 1 考试,知识点汇总《数据分析概述》

数据整理

涉及数据采集、数据合并与抽样的操作,目的是为了构造分析用到的数据。分析人员根据维度分析获得的结果作为整理 数据的依据,将散落在公司内部与外部的数据进行整合。

样本探索

这个步骤的主要任务是对数据质量的探索。变量质量方面涉及错误值(如:年龄=-30)、恰当性(客户的某些业务指标 为缺失值,实际上是没有这个业务,值应该为“0”)、缺失值(没有客户的收入信息)、一致性(收入单位为人民币, 而支出单位为美元)、平稳性(某些数据的均值变化过于剧烈)、重复值(相同的交易被记录两次)和及时性(银行客 户的财务数据更新的滞后时长)等方面。这部分的探索主要解决变量是错误时是否可以修改、是否可以使用的问题。

变量修改

根据变量探索的结论,需要对数据质量问题和变量分布情况分别作变量修改。数据质量问题的修改涉及改正错误编码、 缺失值填补、单位统一等操作。变量分布情况的修改涉及函数转换和标准化方法,具体的修改方法需要与后续的统计建 模方法相结合。

建模 根据分析的目的选取合适的模型,这部分内容在“数据分析方法分类介绍”已经作了详细的阐述,这里不再赘述。

模型检验 这里指模型的样本内验证,即使用历史数据对模型表现的优劣进行评估。比如,对有监督学习会使用ROC曲线和提升度 等技术指标评估模型的预测能力。

数据分析中不同人员的角色与职责

业务问题是需求,最终需要转换成统计或数据挖掘等问题,用数据分析的思路来解决,因此数据分析师在业务与数据间 起到协调作用,是业务问题能否成功转换成统计问题的关键。通常来说,业务问题需要一个或多个字段来表达,这些字 段以什么形式出现(如测量级别),因为字段的形式会决定选择的方法,而每种方法又用于解决特定的需求,此外由于 模型对业务人员或企业高管来说可能过于专业,因此需要将模型输出通俗的表达出来。所以协调者、数据分析师、报告 人的角色,决定了数据分析师是一名(精通数理和软件的)综合型人才。

三、例题精讲

1.公司营销部门每月例会报告的经营指标汇总,属于下列哪一类数据分析?

A. 客户行为的数据挖掘报告

B. 描述性数据分析报告

C. 产品和行为倾向报告

D. 以上都不对

答案:B 解析:按照惯例经营指标汇总,通常是报告业绩指标的数量、金额、百分比或排名等信息,这类 分析多数归属于描述性数据分析,而且是单变量分析的内容。AC项涉及行为特点和商品特征的关 系,属于多变量分析的内容。

2.以下哪些内容包含在数据分析层次级别中?

A. 即席查询

B. 多维分析(又称为钻取或者OLAP)

C. 统计分析与警报

D. 与业务人员协商知识点

答案:ABC 解析:考察数据分析的八个层次,需要在理解的基础上加以记忆。

3.统计模型主要用于解决哪几类问题?

A. 预测分类问题

B. OLAP分析问题

C. 相关分析

D. 市场细分问题

答案:ACD 解析:A项、C项和D项是统计模型的典型问题,但OLAP分析问题并不是统计模型。

4.下列关于数据挖掘流程表达正确的一项是:

A. 方法论CRISP-DM与SEMMA是业内公认的权威流程,严格按照步骤做数据分析总不会出错的

B. CRISP-DM(译为“跨行业”数据挖掘)在任何数据分析行业中均适用

C. SEMMA方法论是对CRISP-DM方法中的数据准备和建模环节进行了拓展

D. 由于数据比较整洁,所以可以不需要再做数据预处理,直接从建模开始

答案:C 解析:AB两项都犯同一类错误,就是过于迷信方法论的权威性,D项中数据分析的一般性 描述是很重要的预分析过程,不仅如此,模型对于数据的要求也很高,样本探索、变量整理等预处理工作都不可省去。

5.关于客户生命周期管理,下列哪一项不属于对既有高价值客户的分析内容?

A. 行为信用评分

B. 初始信用评分

C. 产品精准营销

D. 客户留存管理

答案:B 解析:高价值客户属于企业的既有客户,而初始信用评分属于对潜在响应客户的 策略分析

6.统计模型主要用于解决哪几类问题?

A.预测分类问题

B.OLAP分析问题

C.相关分析

D.市场细分问题

答案:ACD 解析:A项、C项和D项是统计模型的典型问题,但OLAP分析问题并不属于统计模型。

完 谢谢观看

分享
收藏

OK