逻辑回归（Logistic Regression）有哪些优缺点?-CDA数据分析师官网

热线电话：13121318867

逻辑回归（Logistic Regression）有哪些优缺点?

2022-12-23

逻辑回归也是机器学习中常见的一种学习方法，今天我们就来看一看逻辑回归的优缺点。
逻辑回归(Logistic Regression)是一种有监督的统计学习方法，主要用于对样本进行分类。逻辑回归是机器学习中做分类任务常用的方法，属于“广义的线性模型”，即：

考虑二分类任务，其输出标记y∈{0，1},而线性回归模型产生的预测值 z = wx+b是实值，于是，需要将实值z转换为0/1值。最理想的是“单位阶跃函数”：

即若预测值z大于0就判断为正例，小于零则判断为反例，预测值为临界值零则可任意判断。但是阶跃函数不是连续的，不能直接作用于g-()，因此考虑用另一函数代替阶跃函数，即sigmoid函数：

逻辑回归优缺点：
优点：
(1)对率函数任意阶可导，具有很好的数学性质，许多现有的数值优化算法都可以用来求最优解，训练速度快;
(2)简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响;
(3)适合二分类问题，不需要缩放输入特征;
(4)内存资源占用小，因为只需要存储各个维度的特征值;
(5)直接对分类可能性进行建模，无需事先假设数据分布，避免了假设分布不准确所带来的问题
(6)以概率的形式输出，而非通过知识直接判断是0还是1，对许多利用概率辅助决策的任务很有用
缺点：
(1)不能用逻辑回归去解决非线性问题，因为Logistic的决策面是线性的;
(2)对多重共线性数据较为敏感;
(3)很难处理数据不平衡的问题;
(4)准确率并不是很高，因为形式非常的简单(非常类似线性模型)，很难去拟合数据的真实分布;
(5)逻辑回归本身无法筛选特征，有时会用gbdt来筛选特征，然后再上逻辑回归。