热线电话：13121318867

登录
首页精彩阅读数据清洗中异常值如何处理（上）
数据清洗中异常值如何处理（上）
2019-03-25
收藏


在数据分析工作中，我们面对的原始数据都是存在一些肮脏数据的，其中异常值就是肮脏数据中的一种。所以说，我们在进行数据分析工作的时候一定要对数据中的异常值进行处理，那么大家是否知道数据清洗中的异常值是如何清洗的吗？下面我们就给大家介绍一下如何处理数据清洗中的异常值。


首先我们需要对异常值有个理解，一般来说，异常值通常被称为“离群点”，对于异常值的处理，通常使用的方法有很多种，第一就是简单的统计分析，第二就是使用3∂原则处理，第三就是箱型图分析，第四就是基于模型检测，第五就是基于距离检测，第六就是基于密度检测，第七就是基于聚类。下面我们就分别为大家介绍一下这些方法。


首先给大家介绍一下简单的统计分析，当我们拿到数据后可以对数据进行一个简单的描述性统计分析，譬如最大最小值可以用来判断这个变量的取值是否超过了合理的范围，不合常理的为异常值。


第二就是3∂原则，如果数据服从正态分布，在3∂原则下，异常值为一组测定值中与平均值的偏差超过3倍标准差的值。如果数据服从正态分布，距离平均值3∂之外的值出现的概率为P(|x-u| > 3∂) <= 0.003，属于极个别的小概率事件。如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。


第三就是箱型图分析，一般来说，箱型图提供了识别异常值的一个标准：如果一个值小于QL01.5IQR或大于OU-1.5IQR的值，则被称为异常值。QL为下四分位数，表示全部观察值中有四分之一的数据取值比它小；QU为上四分位数，表示全部观察值中有四分之一的数据取值比它大；IQR为四分位数间距，是上四分位数QU与下四分位数QL的差值，包含了全部观察值的一半。一般来说，箱型图判断异常值的方法以四分位数和四分位距为基础，四分位数具有鲁棒性：25%的数据可以变得任意远并且不会干扰四分位数，所以异常值不能对这个标准施加影响。因此箱型图识别异常值比较客观，在识别异常值时有一定的优越性。


在这篇文章中我们给大家介绍了关于数据清洗的相关方法，通过对这些方法的介绍我们不难发现这些方法都是十分经典的，由于篇幅原因我们就给大家介绍到这里了，在后面的文章中我们会继续为大家介绍数据清洗的方法。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

箱型图 数据清洗 正态分布 统计分析 数据分析 偏差

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇数据清洗的步骤是什么（下）
下一篇数据清洗中异常值如何处理（下）
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询