扫码加入数据分析学习群

问：机器学习ML模型中LR和SVM的联系与区别

答：

① 联系:

1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题(在改进的情况下可以处理多分

类问题)

2、两个方法都可以增加不同的正则化项，如11、 12等等。所以在很多实验中，两种算法的结果是很接近

的。

② 区别:

1、LR是参数模型，SVM 是非参数模型。

2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss，这两个损失函

数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。

3、SVM的处理方法是只考虑support vectors,也就是和分类最相关的少数点，去学习分类器。而逻辑回

归通过非线性映射，大大减小了离分类平面较远的点的权重，相对提升了与分类最相关的数据点的权

重。

4、逻辑回归相对来说模型更简单，好理解，特别是大规模线性分类时比较方便。而SVM的理解和优化相

对来说复杂一些， SVM转化为对偶问题后，分类只需要计算与少数几个支持向量的距离,这个在进行复杂核

函数计算时优势很明显,能够大大简化模型和计算。

5、1ogic 能做的svm能做，但可能在准确率上有问题，svm 能做的1ogic有的做不了。

来源： http://blog.csdn.net/timcompp/article/details/62237986