
2022-12-23
逻辑回归也是机器学习中常见的一种学习方法,今天我们就来看一看逻辑回归的优缺点。
逻辑回归(Logistic Regression)是一种有监督的统计学习方法,主要用于对样本进行分类。逻辑回归是机器学习中做分类任务常用的方法,属于“广义的线性模型”,即:
考虑二分类任务,其输出标记y∈{0,1},而线性回归模型产生的预测值 z = wx+b是实值,于是,需要将实值z转换为0/1值。最理想的是“单位阶跃函数”:
即若预测值z大于0就判断为正例,小于零则判断为反例,预测值为临界值零则可任意判断。但是阶跃函数不是连续的,不能直接作用于g-(),因此考虑用另一函数代替阶跃函数,即sigmoid函数:
逻辑回归优缺点:
优点:
(1)对率函数任意阶可导,具有很好的数学性质,许多现有的数值优化算法都可以用来求最优解,训练速度快;
(2)简单易理解,模型的可解释性非常好,从特征的权重可以看到不同的特征对最后结果的影响;
(3)适合二分类问题,不需要缩放输入特征;
(4)内存资源占用小,因为只需要存储各个维度的特征值;
(5)直接对分类可能性进行建模,无需事先假设数据分布,避免了假设分布不准确所带来的问题
(6)以概率的形式输出,而非通过知识直接判断是0还是1,对许多利用概率辅助决策的任务很有用
缺点:
(1)不能用逻辑回归去解决非线性问题,因为Logistic的决策面是线性的;
(2)对多重共线性数据较为敏感;
(3)很难处理数据不平衡的问题;
(4)准确率并不是很高,因为形式非常的简单(非常类似线性模型),很难去拟合数据的真实分布;
(5)逻辑回归本身无法筛选特征,有时会用gbdt来筛选特征,然后再上逻辑回归。
来CDA学数据分析师,理论结合实战进行项目数据分析,学以致用,助你成为从事数据采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才,点击了解课程详情!
完 谢谢观看
上一篇: 常见的机器学习中损失函数有哪些? ... 下一篇: 集成学习是什么?有哪些分类? ...