机器学习 ML 模型 KNN 中的 K 如何选取的？

詹惠儿

2021-02-21 阅读量: 466

问：

机器学习 ML 模型 KNN 中的 K 如何选取的？

答：

参考李航博士的「统计学习方法」上所说：
1. 如果选择较小的 K 值，就相当于用较小的领域中的训练实例进行预测， “学习”近似误差会减小，只有与输入
实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大，换句话
说， K 值的减小就意味着整体模型变得复杂，容易发生过拟合；
2. 如果选择较大的 K 值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学习的估计误差，但
缺点是学习的近似误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测
发生错误，且 K 值的增大就意味着整体的模型变得简单。
3. K=N，则完全不足取，因为此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的累，模
型过于简单，忽略了训练实例中大量有用信息。
在实际应用中， K 值一般取一个比较小的数值，例如采用交叉验证法（简单来说，就是一部分样本做训练集，一
部分做测试集）来选择最优的 K 值。

70.5576

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子