用于衡量两类现象在发展变化的方向与大小方面存在一定的关联(不包括因果和共变关系)。
1.正线性相关
例如销售额中涵盖了销售利润和各类成本等,从数据大致可以看出,销售利润随着销售额的增长而增长,由于各类不确 定因素,数据点基本落在直线周围,我们称之为正线性相关。
2.负线性相关
例如通常情况下,某地区的犯罪率越高,则该地区的房价越低,但由于供需环境等其他不确定因素,数据点基本落在直 线周围,我们称之为负线性相关。
3.完全线性相关
虽然所有点都在直线上,但是我们不能说两个变量是函数关系,这是因为我们看到的是样本,并且我们假设两个变量是 随机变量,而我们需要推导的是两个总体的关系。
4.非线性相关
例如虽然网站的点击量随着网站的广告投入的增加而增加,但其数据点分布在对数线周围,呈现出对数相关性。
估计标准误差与相关系数的关系
一元线性回归中,对于同一个问题,估计标准误差就意味着样本点到回归线的距离越近,那么两个变量的 线性相关性就越强,相关系数越大。
1.相关系数
一般情况下,如果不做特殊说明,指的就是线性相关。 如果相关系数是根据变量的样本数据计算的,即为了推断总体,那么则称为样本相关系数(虽然有的时候在部分资料里 并不严格说明),记为 r(有的教材里也称为Pearson相关系数)
虽然没有严格的规定,但是我们往往习惯按照下面的方式对相关性强度进行分级:
由于 r 只是样本线性相关系数,无论其数值等于多少,我们需要推断的始终是总体的相关性如何,这时候我们就需要运 用显著性检验的知识了。我们运用R.A.Fisher提出的 t 检验方法来检验两个变量总体之间是否存在线性相关关系。
原假设:H0 : ߩ = 0,两变量间无直线相关关系 检验统计量:
适用条件:数据间相互独立,包括观测间相互独立与变量间相互独立;变量为连续变量(积差相关的条件);两变量间 的关系是线性的。
(1)散点的密集程度,反应相关性的大小;
(2)散点是否具有线性关系,或线性趋势,还是其 他形式,如果是其他形式是否可以转换成线性 形式;
(3)线性关系之外是否存在异常值及其存在与线性 趋势的哪个方向;
(4)数据是否存在稀疏问题。
回归分析能解决什么问题?
探索影响因变量的可能因素;
利用回归模型进行预测。
相关与回归间的关系?
相关分析侧重反映散点的疏密程度。
回归分析侧重反映散点的趋势程度。
1.线性回归的基本过程
第一步:总平方和分解
第二步:计算判定系数
第三步:残差标准误
由于 SSE 是一个求和表达式。样本越多,SSE 的取值就往往会越大,因此,SSE 并不适合相对 客观的反映估计值与样本值的偏离程度,我们需要将 SSE 处理成相对值。于是我们令
,其中 n-2 是自由度。这个公式可以粗略的理解为,通过除以自由度,得到残差平 方的均值;再开根号则可以将方差转化成标准差,也成为估计标准误差。
第四步:线性关系检验
线性回归模型的假设
1.回归分析前,哪种数据处理是不合理的( )。 A. 标准化处理
B. 取对数处理
C. 排秩处理
D. 取整处理
答案:CD 解析:标准化可以消除数据规模的影响,对数处理往往可以解决数据正态假设的问题。
2.线性回归分析主要用于哪种情境( )。
A. 客户价值评估
B. 贷款违约识别
C. 不同班级在英语得分上是否存在差异
D. 根据用户特征进行市场细分
答案:A 解析:B项说的是逻辑回归的内容,C项是方差分析的内容,D项是说聚类分析等 方法。
3.线性回归假设正确的是( )。
A. 线性:因变量与自变量间的线性关系
B. 正态性:残差必须服从正态分布
C. 独立同分布:残差间相互独立,且遵循同一分布
D. 正交假定:误差项与自变量不相关,其期望为0 答案:ABCD 解析:考察线性回归的基本假设。
4.以下关于线性回归阐述正确的是( )。
A. 如果我们建立了y关于x的线性回归方程,那么我们就可以将y变化的原因归结于x的变化。
B. 如果我们建立了y关于x的线性回归方程,在没有其他信息的情况下,我们只能说这两个变量存在线性关系。
C. 如果变量x与y无法建立线性回归方程,那就说明x和y没有关系
D. 如果想研究市场规模与市场环境因素的关系,那么我们就可以以30年的市场规模数据作为因变量y(年化数据), 对应的市场环境数据作为自变量x,建立线性回归方程(共30个样本)。
答案:B 解析:A项是把关系当做因果了,C项有可能有别的非线性关系,D项更适合做面板模型, 线性回归适合做截面数据。
5.回归平方和SSR反映了y的总变差中( )。
A. 由于 x 和 y 之间的线性关系引起的 y 的变化部分
B. 除了 x 和 y 之间的线性影响之外的其他因素对 y 变差的影响
C. 由于 x 和 y 之间的非线性关系引起的 y 的变化部分
D. 由于 x 和 y 之间的函数关系引起的 y 的变化部分
答案:A 解析:熟悉SSR、SSE的相关概念。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14