机器学习之支持向量机(SVM)

支持向量机算法在深度学习没有火起来的2012年前，在机器学习算法中可谓是霸主地位，其思想是在二分类或者多分类任务中，将类别分开的超平面可能有很多种，那么哪一种的分类效果是最好的呢？这里引入了支撑向量的概念，我们总可以在几个类别的分界面处找到类别的一些样本点，以这些样本点的中垂线为平面的这个分界面可以使得类别中的点都离分界面足够远，那么这个平面就是最理想的分割超平面。

注意：SVM顾名思义，该算法只用到了一些支撑样本将两类或者多类样本分开的~~

SVM分为线性可分SVM,线性SVM和非线性SVM，后两者用到了核函数。

一、SVM中的数学：

1.凸优化

2.核函数

3.拉格朗日乘子法

二、SVM公式推导

基本定义(以二分类为例)：

分割平面：是特征空间转换函数，简单地，

目标值属于{-1,1}，通过sign(y(x))将样本分类为1或者-1

1.线性可分SVM(样本本身线性可分)

1.1 目标函数：遍历所有的x，对离分割面最近的x中，找到一组w，b，使得离该线最近的x到该直线的距离最大

变形达到：

整理在得到最终的目标函数：

1.2 求解目标函数，引入拉格朗日乘子法和KKT条件：

上式分别对w，b求导为0，并代入原式中，变形为求解alpha的约束最优化问题：

最终得到的w，b以及超平面分别是：

2.线性支持SVM(样本本身线性不可分)

2.1 引入松弛因子，目标函数和约束条件变为：

给定松弛因子，相当于引入了正则项，C->无穷大，相当于没有惩罚，所有样本眼分对，不容忍错误，容易overfitting，C->0,则过渡带宽，容忍有错误，model范化能力好，能防止overfitting

2.2 求解目标函数，仍用拉格朗日乘子法，，最终的目标函数为：

求解最优的alpha，并求得w和b.

3.非线性SVM，引入核函数

3.1 思想：不可分的样本，通过核函数映射到新的高维特征空间，使得样本变得可分，常见的核函数有多项式，高斯和sigmoid核函数，公式如下：

一般地，在不知道更多信息的时候使用高斯核函数是最稳妥的，高斯函数（RBF,径向基函数）是一个映射到无穷维的函数。

引入的代表了核函数映射到高维空间的胖瘦，其值大，则胖乎乎，其值小，则瘦兮兮~~

三、代码实现SVM

import numpy as np
from sklearn.svm import SVR
from sklearn.grid_search import GridSearchCV    # 0.17 grid_search
import matplotlib.pyplot as plt
 
 
if __name__ == "__main__":
    N = 50
    np.random.seed(0)
    x = np.sort(np.random.uniform(0, 6, N), axis=0)
    y = 2*np.cos(x) + 0.1*np.random.randn(N)
    x = x.reshape(-1, 1)
 
    model = SVR(kernel='rbf')
    c = np.logspace(-2, 2, 10)
    gamma= np.logspace(-2, 2, 10)
    svr = GridSearchCV(model, param_grid={'C': c, 'gamma': gamma}, cv=5)
    svr.fit(x, y)
    print 'C和gamma的最优参数：\n', svr.best_params_
 
    x_test = np.linspace(x.min(), x.max(), 100).reshape(-1, 1)
    y_predict = svr.predict(x_test)
 
    sp = svr.best_estimator_.support_
    plt.figure(facecolor='w')
    plt.scatter(x[sp], y[sp], c='b', marker='o', label='Support Vectors')
    plt.plot(x_test, y_predict, 'r--',label='RBF Kernel')
    plt.plot(x, y, 'g-')
    plt.legend(loc='best')
    plt.title('SVR with grid_search C & gamma')
    plt.xlabel('X')
    plt.ylabel('Y')
    plt.grid(True)
    plt.tight_layout()
    plt.show()

运行代码可以网格搜索到最优的Chegamma并得到SVM的结果可视化如下：

总结一下：

1.SVM中有两个超参数需要调参，一个是C，一个是，在不知道这两者怎么搭配最终的分类效果好，使用高斯函数(RBF)是最好的，可以用grid_search来找最优的一组值超参数，而不是随便 调参

2. 某一种模型调参的能力是有限的，不会对分类结果有质的飞跃，当怎么调都调不好的话，就应该考虑换一种模型了

3. 调参不是主要的，特征选择和数据的清洗对模型的结果影响更重要