KNN模型如何选取最优K值？

詹惠儿

2021-03-09 阅读量: 1480

KNN模型如何选取最优K值？

问：

KNN模型如何选取最优K值？

答：

KNN中的代表的是距离需要分类的测试点最近的个样本点，如果不输⼊这个值，那么算法中重
要部分 "选出个最近邻" 就⽆法实现。从 NN的原理中可⻅，是否能够确认合适的值对算法有极⼤
的影响。
如果选择的值较⼩，就相当于较⼩的邻域中的训练实例进⾏预测，这时候只有与输⼊实例较近的（相
似的）训练实例才会对预测结果起作⽤，但缺点是预测结果会对近邻的实例点⾮常敏感。如果邻近的实
例点恰好是噪声，预测就会出错。换句话说，值的减⼩意味着整体模型变得复杂，容易发⽣过拟合。
相反地，如果选择的值较⼤，就相当于较⼤的邻域中的训练实例进⾏预测。这时与输⼊实例较远的
（不相似的）训练实例也会对预测起作⽤，使预测发⽣错误。值的增⼤意味着整体模型变得简单因此，

超参数的选定是 NN的头号问题

在应⽤中， k值⼀般取⼀个⽐较⼩的值，通常采⽤交叉验证法来来选取最优的K值。在这里我们可以借助

参数学习曲线来找出最优k值，参数学习曲线是⼀条以不同的参数取值为横坐标，不同参数取值下的模型结果为

纵坐标的曲线，我们往往选择模型表现最佳点的参数取值作为这个参数的取值。