异常值处理的常用算法

2024-12-06

异常值在数据分析和机器学习中起着至关重要的作用。它们可能源自测量错误、数据损坏，或者代表真实但罕见的事件。这种数据的存在可能会极大地影响我们的分析结果和模型准确性。因此，识别和处理异常值是我们必须认真 ...

异常值处理的最佳实践

2024-12-06

在数据分析和预处理中，异常值处理是至关重要的一环。它旨在识别并处理那些明显偏离其他观测值的数据点，这些异常值可能是由测量误差、数据输入问题或其他非典型情况引起的。对数据准确性和模型性能都可能造成显著影 ...

R语言：异常值检验、离群点分析、异常值处理

2017-07-17

R语言：异常值检验、离群点分析、异常值处理 笔者寄语：异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。其中异常值检测的方法主要有：箱型图、简单统计量（比如观察极值） 异常值处理方 ...

教你使用3σ原则来进行异常值处理

2020-07-31

在python数据清洗过程中，我们经常会遇到一些偏离正常范围的数据，例如人的体重为56吨，这些数据叫做异常值，如果不做异常值处理，会对我们最终的数据分析造成影响。小编今天给大家带来了一种很实用的异常值处理方 ...

异常值处理常用的几种方法

2020-07-01

异常值，又称离群点，是指那些在数据集中存在的不合理的值，需要注意的是，不合理的值是偏离正常范围的值，不是错误值。比如人的身高为-1m，人的体重为1吨等，都属于异常值的范围。虽然异常值不常出现，但是又会对 ...

数据分析实践入门：缺失值处理、重复值处理、异常值处理等

2020-05-11

从菜市场买来的菜，总有一些是坏掉的不太好的，所以把菜买回来之后要做一遍预处理，也就是把那些坏掉的不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到手以后会有一些不好的数据，所以都要先做 ...

R语言：异常值检验、离群点分析、异常值处理

2017-04-29

R语言：异常值检验、离群点分析、异常值处理 笔者寄语：异常值处理一般分为以下几个步骤：异常值检测、异常值筛选、异常值处理。其中异常值检测的方法主要有：箱型图、简单统计量（比如观察极值） 异常值处理 ...

CDA一级10天上岸！在职党亲测有用

2025-12-04

 作者简介：张少伟，软件工程专业研究生，从事信息化工作（数据查询、统计分析） ” 一、CDA是什么？ CDA（Certified Data Analyst）是指在金融、电信、零售、制造、能源、医疗医药、旅游、咨询等行业从事数据的 ...

【CDA干货】数据标准化后出现负值？别急！场景化解决全方案

2025-12-02

在数据预处理的纲量统一环节，标准化是消除量纲影响的核心手段——它将不同量级的特征（如“用户年龄”“消费金额”）转化为同一尺度，为模型训练或业务分析扫清障碍。但很多数据从业者会陷入“负值恐慌”：Z-score ...

CDA数据分析师：数据分析基础范式的践行者与价值放大器

2025-11-13

在数据量爆炸式增长的今天，企业对数据分析的需求已从“有没有”升级为“好不好”——不少团队陷入“数据堆砌却无洞察”“分析结果反复推翻”的困境，核心原因在于缺乏统一的“基础范式”作为行动纲领。数据分析基础 ...

【CDA干货】金融统计实战案例：银行个人信贷违约预测的统计分析与风险应用

2025-11-11

金融统计不是单纯的 “数据计算”，而是贯穿金融业务全流程的 “风险量化工具”—— 从信贷审批中的客户风险评估，到投资组合的收益波动分析，再到监管合规的数据报送，统计方法是金融机构控制风险、提升收益的核心 ...

【CDA干货】数据挖掘核心步骤与实战：以零售企业客户流失预测为例

2025-11-04

在数字化时代，数据挖掘不再是实验室里的技术探索，而是驱动商业决策的核心能力 —— 它能从海量数据中挖掘出 “降低成本、提升收入、优化体验” 的隐性规律。但数据挖掘并非 “拿到数据就建模” 的无序过程，需遵循 ...

CDA 数据分析师：聚类分析实战指南 —— 无监督分组与精准业务运营的核心工具

2025-11-04

在 CDA（Certified Data Analyst）数据分析师的工作中，“无监督样本分组” 是高频需求 —— 例如 “将用户按行为特征分为高价值、潜力、一般用户”“将商品按销售表现归类为爆款、平销、滞销品”。这类问题缺乏明确 ...

CDA 数据分析师：因子分析实战指南 —— 高维数据的潜在维度挖掘与业务价值提炼

2025-11-03

在 CDA（Certified Data Analyst）数据分析师的工作中，“高维数据的潜在规律挖掘” 是进阶需求 —— 例如用户行为包含 “浏览次数、评论数、复购频次、消费金额” 等 10 + 特征，表面上分散独立，实则可能由 “消费 ...

【CDA干货】左尾数据的正态化处理：从识别到落地的完整指南

2025-10-28

在数据分析中，“正态分布” 是许多统计方法（如 t 检验、方差分析、线性回归）的核心假设 —— 数据符合正态分布时，统计检验的有效性、模型的预测精度才能得到保障。但实际业务中，大量数据呈现 “左偏分布”（左 ...

CDA 数据分析师：假设检验实战指南 —— 用数据验证业务假设的科学方法

2025-10-27

对 CDA（Certified Data Analyst）数据分析师而言，“假设检验” 绝非 “套用统计公式的机械操作”，而是 “将模糊的业务猜想转化为可验证的统计假设，通过数据排除随机波动，得出可靠结论” 的核心技能。例如，当业 ...

CDA 数据分析师：数据清洗实战指南 —— 筑牢数据分析的 “质量防线”

2025-10-23

在数据分析全流程中，“数据清洗” 恰似烹饪前的食材处理：若食材（数据）腐烂变质、混杂异物（脏数据），即便拥有精湛的烹饪技巧（分析模型），也无法烹制出符合要求的佳肴（可靠结论）。据行业调研显示，CDA（Cert ...

【CDA干货】数据清洗如何守住真实性？从方法到落地的保真指南

2025-10-17

数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”，但前提是不破坏数据的真实业务含义。现实中，很多数据清洗操作却走向 “失真陷阱”：比如为了 “数据整齐” 删除真实的 ...

CDA 数据分析师：读懂时间序列，让历史数据成为业务预测的 “指南针”

2025-09-30

在企业日常运营中，“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”，金融机构想预判 “下周股价波动趋势”，零售门店想确定 “明日库存该备多少”。这些问题的答案，藏在 “时间序 ...

CDA 数据分析师：精通标签加工方式，让数据标签从 “raw” 到 “ready”

2025-09-29

在标签体系的落地链路中，“设计标签逻辑” 只是第一步，真正让标签从 “纸上定义” 变为 “业务可用资产” 的关键，在于标签加工—— 即将分散的原始数据（如用户行为日志、订单记录）通过清洗、计算、建模等手段， ...