考试中心
CDA网校
CDA社区
CDA竞赛
CDA技术答疑
CDA会员
CDA产品
大数据与人工智能实验室
好学AI
(下一代智能学习产品)
CDA网校
CAIE人工智能工程师认证
首页
资讯
动态
认证考试
企业内训
搜索
登录
首页
精彩阅读
【从零开始学统计】4.带你认识最小二乘法
【从零开始学统计】4.带你认识最小二乘法
2014-07-04
收藏
在估计方法中,最大似然和
最小二乘
是经常被使用到的,其中的
最小二乘
更是回归的基础。楼主在刚接触
最小二乘
的时候曾经想过一个问题,为什么非要用平方?绝对值不行么?……很多问题萦绕脑中。最近借着做专题的时间,抽空又看了一下这个知识点,略微整理了一下分享给大家:
1、什么是
最小二乘
思想?
简单地说,
最小二乘
的思想就是要使得
观测点和估计点的距离的平方和达到最小
.这里的“二乘”指的是用平方来度量观测点与估计点的远近(在古汉语中“平方”称为“二乘”),“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出,
最小二乘
也可用于拟合数据模型。
这当中涉及到如下问题:
①观测点和距离点的距离:
这个距离也被称为误差。既然要估计,总希望找到最好的估计值,那么误差越小越好。
②为什么是距离的平方和:
距离的平方和也就是误差的平方和,既然误差越小越好,那是否可以用绝对值来代替?;楼主觉得用绝对值代替的这个想法是可以的,只是在之后的运算求值时处理比较复杂。(楼主隐约记得取绝对值最小的方法好像是最小一乘法)
③为什么平方求解方便呢?
那就要从公式讲起了(楼主说好不上复杂公式推导的,好吧,这里就简单描述一下吧……)
设拟合直线是
,距离(或误差)为
,那么
最小二乘
的思想就是让等式
具有最小值。那么这就需要做求偏导了。(这也就是为什么
最小二乘
有个要求就是数据需要具有二阶矩),大致推导过程如下:
整理后对方程组求解
2014-5-12 12:01:51 上传
下载附件
(4.98 KB)
最终解得
2、什么时候用
最小二乘
法
在研究两个变量之间的关系时,可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后,就可以使用
最小二乘
法估计模型中的参数,进而建立经验方程。例如,在现实世界中,这样的情形大量存在着:两个变量X和Y(比如身高和体重)彼此有一些依赖关系,由X可以部分地决定Y的值,但这种关系又是不确定的.人们常常借助统计学中的回归模型来寻找两个变量之间的关系,而模型的建立当然是依据观测数据.首先通过试验或调查获得x和Y的一组对应关系(x1,Y1),(x2,Y2),…,(xn,Yn),然后回答下列5个问题:
1. 这两个变量是否有关系?(画出
散点图
,作直观判断)
2. 这些关系是否可以近似用函数模型来描述?(利用
散点图
、已积累的函数曲线形状的知识和试验数据,选择适当的回归模型,如一元线性模型,二次函数模型等)
3. 建立回归模型.
4. 对模型中的参数进行估计,
最小二乘
法是这些参数的一种常用估计方法.
5. 讨论模型的拟合效果.
当然参数的估计还有很多,
最小二乘
的运用楼主觉得在线性模型中还是非常便捷和实用的。当然,他也有很多衍生出的其他方法,咱就不细说。
最小二乘
散点图
数据分析咨询请扫描二维码
上一篇
成为CDA会员俱乐部志愿者你将获得!
下一篇
图论在大数据分析中的作用!
考试指南
考试介绍
考试大纲
考试内容
考试地点
报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
客服
在线
立即咨询