对于KNN算法概念以及原理的简单理解

KNN的全称是K-Nearest Neighbors，具体意思为K个最近的邻居。KNN算法可以说是机器学习算法中最简单、最基础的算法了。既能用于分类，也能用于回归。是通过测量不同特征值之间的距离来进行分类。

KNN的基本思路是：如果一个样本在特征空间中的k(K通常是不大于20的整数)个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

根据上图，绿色圆要被认为是红色三角形还是蓝色四方形?如果K=3.由于红色三角形所占比例为2/3.绿色圆就归属于红色三角形，如果K=5.则蓝色四方形比例为3/5.绿色圆归属于蓝色四方形类。

一。KNN算法的核心要素：

(1)K值的选择：K是超参(KNN算法的结果很大程度取决于K的选择)，K值过小容易导致过拟合(比如噪音点的数据会对结果造成影响)，K值过大(训练误差增大，随之模型变得简单)容易导致欠拟合。

(2)距离的度量：采用欧式距离或曼哈顿距离

(3)决策规则：在分类模型中，主要使用多数表决法或者加权多数表决法;

在回归模型中，主要使用平均值法或者加权平均值法。(基于距离远近进行加权，，距离越近的样本权重越大.)

二。KNN算法的优缺点：

KNN算法优点

1.简单易用，相比起其他算法，KNN算法对于数学基础要求不高，算是比较简洁明了的算法。

2.KNN是一种非参的（建立的模型结构是根据数据来决定的），惰性(没有明确的训练数据的过程的算法模型),模型训练时间非常快.

3.预测效果好。

4.对异常值不敏感

KNN算法缺点

1.会存储所有训练数据，对内存要求较高;

2.预测阶段速度可能很慢

3.对不相关的功能和数据规模敏感