KNN的全称是K-Nearest Neighbors，具体意思为K个最近的邻居。KNN算法可以说是机器学习算法中最简单、最基础的算法了。既能用于分类，也能用于回归。是通过测量不同特征值之间的距离来进行分类。
KNN的基本思路是：如果一个样本在特征空间中的k(K通常是不大于20的整数)个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
根据上图，绿色圆要被认为是红色三角形还是蓝色四方形?如果K=3.由于红色三角形所占比例为2/3.绿色圆就归属于红色三角形，如果K=5.则蓝色四方形比例为3/5.绿色圆归属于蓝色四方形类。
一。KNN算法的核心要素：
(1)K值的选择：K是超参(KNN算法的结果很大程度取决于K的选择)，K值过小容易导致过拟合(比如噪音点的数据会对结果造成影响)，K值过大(训练误差增大，随之模型变得简单)容易导致欠拟合。
(2)距离的度量：采用欧式距离
或曼哈顿距离
(3)决策规则：在分类模型中，主要使用多数表决法或者加权多数表决法;
在回归模型中，主要使用平均值法或者加权平均值法。(基于距离远近进行加权，，距离越近的样本权重越大.)
二。KNN算法的优缺点：
KNN算法优点
1.简单易用，相比起其他算法，KNN算法对于数学基础要求不高，算是比较简洁明了的算法。
2.KNN是一种非参的（建立的模型结构是根据数据来决定的），惰性(没有明确的训练数据的过程的算法模型),模型训练时间非常快.
3.预测效果好。
4.对异常值不敏感
KNN算法缺点
1.会存储所有训练数据，对内存要求较高;
2.预测阶段速度可能很慢
3.对不相关的功能和数据规模敏感
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在构建前向神经网络（Feedforward Neural Network，简称 FNN）时，“隐藏层数目设多少？每个隐藏层该放多少个神经元？” 是每个 ...
2025-10-29这个问题切中了 Excel 用户的常见困惑 —— 将 “数据可视化工具” 与 “数据挖掘算法” 的功能边界混淆。核心结论是：Excel 透 ...
2025-10-29在 CDA（Certified Data Analyst）数据分析师的工作中，“多组数据差异验证” 是高频需求 —— 例如 “3 家门店的销售额是否有显 ...
2025-10-29在数据分析中，“正态分布” 是许多统计方法（如 t 检验、方差分析、线性回归）的核心假设 —— 数据符合正态分布时，统计检验的 ...
2025-10-28箱线图（Box Plot）作为展示数据分布的核心统计图表，能直观呈现数据的中位数、四分位数、离散程度与异常值，是质量控制、实验分 ...
2025-10-28在 CDA（Certified Data Analyst）数据分析师的工作中，“分类变量关联分析” 是高频需求 —— 例如 “用户性别是否影响支付方式 ...
2025-10-28在数据可视化领域，单一图表往往难以承载多维度信息 —— 力导向图擅长展现节点间的关联结构与空间分布，却无法直观呈现 “流量 ...
2025-10-27这个问题问到了 Tableau 中两个核心行级函数的经典组合，理解它能帮你快速实现 “相对位置占比” 的分析需求。“index ()/size ( ...
2025-10-27对 CDA（Certified Data Analyst）数据分析师而言，“假设检验” 绝非 “套用统计公式的机械操作”，而是 “将模糊的业务猜想转 ...
2025-10-27在数字化运营中，“凭感觉做决策” 早已成为过去式 —— 运营指标作为业务增长的 “晴雨表” 与 “导航仪”，直接决定了运营动作 ...
2025-10-24在卷积神经网络（CNN）的训练中，“卷积层（Conv）后是否添加归一化（如 BN、LN）和激活函数（如 ReLU、GELU）” 是每个开发者都 ...
2025-10-24在数据决策链条中，“统计分析” 是挖掘数据规律的核心，“可视化” 是呈现规律的桥梁 ——CDA（Certified Data Analyst）数据分 ...
2025-10-24在 “神经网络与卡尔曼滤波融合” 的理论基础上，Python 凭借其丰富的科学计算库（NumPy、FilterPy）、深度学习框架（PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域，“状态估计” 是核心任务 —— 即从含噪声的观测数据中，精准推断系统的真 ...
2025-10-23在数据分析全流程中，“数据清洗” 恰似烹饪前的食材处理：若食材（数据）腐烂变质、混杂异物（脏数据），即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域，“大模型” 已成为近年来的热点标签：从参数超 1750 亿的 GPT-3，到万亿级参数的 PaLM，再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中，“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中，“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中，订单数据分散 ...
2025-10-22在神经网络设计中，“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”（模型无法捕捉复杂数据规律，如用单隐 ...
2025-10-21在特征工程流程中，“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度，剔除无意义、冗余的特 ...
2025-10-21
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
