登录
首页大数据时代SVM和LR有哪些相同点和不同点
SVM和LR有哪些相同点和不同点
2020-07-03
收藏

SVM和LR是机器学习中常用的算法,今天就让我们来看一下这两者有哪些相同点和不同点吧。

SVM和LR的相同点:

1.LR和SVM都是有监督的学习

2.LR和SVM都可以处理分类问题,且一般都用于处理线性二分类问题(在改进的情况下可以处理多分类问题)

3.两个方法都可以增加不同的正则化项,如l1、l2等等。所以在很多实验中,两种算法的结果是很接近的。

4.LR和SVM都是判别模型。

5.LR和SVM在学术界和工业界都广为人知并且应用广泛。

SVM和LR的不同点:

1.样本点对模型的作用不同。SVM只有关键的样本点(支持向量)对模型结果有影响,而LR每一个样本点都对模型有影响。

2.损失函数不同。SVM是hinge损失函数,LR是log损失函数。这两个损失函数的目的都是增加对分类影响较大的数据点的权重,减少与分类关系较小的数据点的权重。

3.理论基础不同。SVM基于严格的数学推导,LR基于统计,可解释性比SVM好。

4.输出不同。LR可以对每个样本点给出类别判断的概率值,SVM无法做到。

5.可处理的特征空间维度不同。LR在特征空间维度很高时,表现较差。SVM则可以通过对偶求解高效应对这一挑战。

6.防过拟合能力不同。SVM模型中内含了L2正则,可有效防止过拟合。LR要自己添加正则项。

7.处理非线性分类问题能力不同。SVM可通过核函数灵活地将非线性问题转化为线性分类问题。LR需要手动进行特征转换。

8.计算复杂度不同。对于海量数据,SVM的效率较低,LR效率比较高。

9.能力范围不同。 SVM拓展后,可解决回归问题,LR不能。

10.抗噪声数据能力不同。SVM损失函数基于距离测度,抗噪声能力要强于LR。

数据分析咨询请扫描二维码

客服在线
立即咨询