支持向量机是一种二类分类模型.它的基本模型是定义在特征空间上的间隔最大的线性分类器。其学习策略是间隔最大化，可形式化为求解凸二次规划问题，也等价于正则化的合叶损失函数的最小化问题。

支持向量机学习方法包含构建由简至繁的模型，可分为线性可分支持向量机、线性支持向量机、非线性支持向量机。

线性可分支持向量机：当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，又称为硬间隔支持向量机.

线性可分支持向量机处理的是严格线性可分的数据集。

其分类超平面为：

相应的决策函数为：或者

其学习优化问题为：

线性支持向量机：当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性分类器，称为软间隔支持向量机.

线性支持向量机处理的是线性不可分的数据集。对于线性支持向量机的优化问题，就是在线性可分支持向量机的基础上加了一个松弛变量。

其学习的优化问题为：

所求的的分类超平面和决策函数与线性可分支持向量机相同。

非线性支持向量机：当训练数据不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机.

非线性支持向量机引入了核函数。分类决策函数变为：