异常值处理的常用算法

2024-12-06

异常值在数据分析和机器学习中起着至关重要的作用。它们可能源自测量错误、数据损坏，或者代表真实但罕见的事件。这种数据的存在可能会极大地影响我们的分析结果和模型准确性。因此，识别和处理异常值是我们必须认真 ...

异常值处理的最佳实践

2024-12-06

在数据分析和预处理中，异常值处理是至关重要的一环。它旨在识别并处理那些明显偏离其他观测值的数据点，这些异常值可能是由测量误差、数据输入问题或其他非典型情况引起的。对数据准确性和模型性能都可能造成显著影 ...

R语言：异常值检验、离群点分析、异常值处理

2017-07-17

R语言：异常值检验、离群点分析、异常值处理 笔者寄语：异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。其中异常值检测的方法主要有：箱型图、简单统计量（比如观察极值） 异常值处理方 ...

教你使用3σ原则来进行异常值处理

2020-07-31

在python数据清洗过程中，我们经常会遇到一些偏离正常范围的数据，例如人的体重为56吨，这些数据叫做异常值，如果不做异常值处理，会对我们最终的数据分析造成影响。小编今天给大家带来了一种很实用的异常值处理方 ...

异常值处理常用的几种方法

2020-07-01

异常值，又称离群点，是指那些在数据集中存在的不合理的值，需要注意的是，不合理的值是偏离正常范围的值，不是错误值。比如人的身高为-1m，人的体重为1吨等，都属于异常值的范围。虽然异常值不常出现，但是又会对 ...

数据分析实践入门：缺失值处理、重复值处理、异常值处理等

2020-05-11

从菜市场买来的菜，总有一些是坏掉的不太好的，所以把菜买回来之后要做一遍预处理，也就是把那些坏掉的不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到手以后会有一些不好的数据，所以都要先做 ...

R语言：异常值检验、离群点分析、异常值处理

2017-04-29

R语言：异常值检验、离群点分析、异常值处理 笔者寄语：异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。其中异常值检测的方法主要有：箱型图、简单统计量（比如观察极值） 异常值处理 ...

【CDA干货】Power BI函数大全：分类、实操与实战全指南

2026-02-13

在Power BI实操中，函数是实现数据清洗、建模计算、可视化呈现的核心工具——无论是简单的数据筛选、异常值处理，还是复杂的度量值计算、时间智能分析，都离不开函数的灵活运用。很多从业者在使用Power BI时，常常陷 ...

表结构数据的获取、加工与使用：CDA数据分析师的核心实操指南

2026-02-09

表结构数据作为结构化数据的核心载体，其“获取-加工-使用”全流程，是CDA（Certified Data Analyst）数据分析师开展专业工作的核心链路。CDA的核心价值，并非单纯解读数据，而是从数据源头出发，规范获取表结构数据 ...

【CDA干货】箱线图上下限在线计算：原理、工具与实操指南

2026-01-28

箱线图（Box Plot）作为数据分布可视化的核心工具，能清晰呈现数据的中位数、四分位数、异常值等关键统计特征，广泛应用于数据分析、质量控制、学术研究等场景。其中，上下限（又称异常值截断点）的计算是箱线图绘制 ...

【CDA干货】特征重要性分析：从模型到业务的核心决策依据

2026-01-27

在机器学习与数据分析领域，特征是连接数据与模型的核心载体，而特征重要性分析则是挖掘数据价值、优化模型性能、赋能业务决策的关键环节。它通过量化各特征对目标变量的影响程度，筛选出核心有效特征，剔除冗余干扰 ...

【CDA干货】支持向量机处理非线性问题：核技巧的原理与实践

2026-01-26

支持向量机（SVM）作为机器学习中经典的分类算法，凭借其在小样本、高维数据场景下的优异泛化能力，被广泛应用于图像识别、文本分类、生物信息学等领域。最初的SVM仅能处理线性可分问题，通过寻找最优分类超平面实现 ...

CDA数据分析师视角：企业数据管理方法论的落地与实践

2026-01-21

在数字化转型浪潮中，企业数据已从“辅助资源”升级为“核心资产”，而高效的数据管理则是释放数据价值的前提。企业数据管理方法论以“战略引领、治理为基、全生命周期管控、价值驱动”为核心，构建从数据采集到价值 ...

CDA数据分析师实战：决策树分析的业务应用与落地指南

2026-01-20

在CDA（Certified Data Analyst）数据分析师的工作场景中，“精准分类与回归预测”是高频核心需求——比如预测用户是否流失、判断交易是否存在欺诈风险、评估客户授信等级等。决策树（Decision Tree）作为经典的监督 ...

CDA数据分析师实战：聚类分析的业务应用与落地指南

2026-01-19

在CDA（Certified Data Analyst）数据分析师的日常工作中，常面临“无标签高维数据难以归类、群体规律模糊”的痛点——比如海量用户行为数据无明确分层标签、产品属性数据无法快速定位同类群体、市场调研数据难以识 ...

CDA数据分析师实战：主成分分析的业务应用与落地指南

2026-01-15

在CDA（Certified Data Analyst）数据分析师的日常工作中，“高维数据处理”是高频痛点——比如用户画像包含“浏览次数、停留时长、加购次数”等10+个行为指标，市场调研涵盖“价格敏感度、品牌偏好”等多个维度，这 ...

CDA数据分析师实战：逻辑回归的业务应用与落地指南

2026-01-14

在CDA（Certified Data Analyst）数据分析师的业务实操中，“分类预测”是高频核心需求——比如“预测用户是否会购买商品”“判断客户是否存在违约风险”“识别用户是否为流失高潜人群”。这类需求的核心是“将数据 ...

【CDA干货】数据清洗基本流程全解析：从“脏数据”到“高质量数据”的蜕变

2026-01-13

在数据驱动决策的时代，“数据质量决定分析价值”已成为行业共识。数据库、日志系统、第三方平台等渠道采集的原始数据，往往存在重复、缺失、异常、格式混乱等问题，这些“脏数据”会直接导致分析结果失真，甚至误导 ...

CDA数据分析师实战：线性回归的业务应用与落地指南

2026-01-13

在CDA（Certified Data Analyst）数据分析师的核心能力体系中，“通过数据建立模型、实现预测与归因”是进阶关键——比如“预测下月销售额”“分析哪些因素对用户消费金额影响最大”“评估营销策略对销量的贡献度” ...

CDA数据分析师实战：相关系数的业务应用与落地指南

2026-01-12

在CDA（Certified Data Analyst）数据分析师的日常工作中，“挖掘变量间的关联关系”是高频核心需求——比如判断“用户停留时长与消费金额是否相关”“广告投放量与销售额是否存在关联”“产品评分与复购率是否有联 ...