数据挖掘中的分类技术

KNN（K最近邻算法）

算法核心：如果一个样本在特征空间中K个最相似的样本中的大多数属于一个类别，则该样本也属于这个类别，并具有这个类别的特征

在确定分类时只依靠最邻近的一个或几个样本的类别来决定待分样本所属类别，在做决策时只与极少数的相邻样本有关

由于KNN方法主要依靠周围有限的临近样本，而不是依靠判别类域的方法来确定样本所属类别。对于类域交叉或重叠较多的待分样本集来说，KNN方法较其他方法更合适

决策树

决策树要解决的问题是用哪些属性充当这棵树的各个节点的问题，决策树按分裂标准不同可以分为基于信息论的方法和基于最小GINI指标方法

神经网络

神经网络的学习是一个过程，并按照一定的规则（学习算法）调整各层的权值矩阵，待网络各层权值都收敛到一定值，学习过程结束

支持向量机（SVM）

尽量把样本中从更高维度看起来在一起的样本合在一起

支持向量机的目的是找到一个最优超平面，使分类间隔最大。最优超平面就是要求分类面不但能将两类正确分开，而且使分类间隔最大

在两类样本中离分类面最近且位于平行于最优超平面上的点就是支持向量，为找到最优超平面，只要找到所有的支持向量即可

对于非线形支持向量机，通常做法为把线形不可分转换成线形可分，通过一个非线形映射将低维输入空间中的数据特征映射到高维。