
以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接
https://edu.cda.cn/goods/show/3844?targetId=6753&preview=0
要处理数据异常,我们要先知道什么是数据异常。首先要有数据,才能知道什么是“异常”。
比如突然的涨,突如其来的跌。数据涨跌是我们在日常工作中,最容易被发现的现象,也是我们平时工作中要去分析的。也就是说,平时数据没有波动,也许我们不需要去分析,但是如果数据有涨或者跌我们都需要去查出原因的。
相信很多朋友跟我一样,起初接触到数据,我只关心跌,为什么昨天的数据跌了?并去分析其原因,也会关心涨,但并不关心为什么涨,就像买股票一样,跌了痛心疾首,并分析原因,涨了满心欢喜,后悔自己为什么不买入多一点儿。
在数据分析的过程中,我们不仅仅要关心跌,以便采取相应动作,减缓跌的趋势,也更要关心涨,弄清楚涨的原因,并放大它,或者说是复制它!
针对异常数据的处理,通常有五个步骤:
就像你发现昨天数据跟往前不一样,猛涨了还是猛跌了,通过观测数据发现异常。评估这个变化,可以问“异常的范围是什么?”“此时的变化是否属于异常?”
发现异常之后,我们要确定这个异常是不是一个问题,有多严重,可以用对比分析法从时间维度上进行周同比、月同比或者是年同比。如果确实可以定义为自然增值,那么就没有太大的必要深究,如果定义为异常,那么就可以去挖掘导致变化的原因了。
用多维度拆解法,对于这个异常的指标从不同的维度去拆解,找出原因。
这个步骤主要是考虑商业宣传和产品运营上的影响,是否有相关的操作可能导致该指标的变化?下面举3个例子:
(1)例如促销力度加大了,可能导致下单用户量猛增,但是销售额却没有多大变化;
(2)例如在快手上投放广告,没有在抖音上进行投放,所以产品里的北方人占比明显增加;
(3)例如在B站进行运营初见成效,导致产品中弹幕使用量、AWSL、我可以等网络用语激增;
找到原因之后,就是针对性的解决问题了,根据问题的原因,动用公司的相关资源,去解决这个问题。
最后就是执行解决方案,把这个异常数据真正的从异常到执行,完成一个闭环。
举个栗子:你现在是做社交APP产品的,在处理数据的过程中,发现某一天的数据异常,该如何分析?
发现问题:在对数据进行统计汇总时发现某一天的异常数据。
确定问题:数据跌了那么多,问题是不是很严重呢?往期有没有这么大的浮动?
由上图的周同比和月同比数据可以看出,往期是没有这个问题的,那说明这是一个严重的个例,表示这一天确实发生了什么事情,造成数据异常的情况。
确定原因:那是不是哪个省份出了问题呢?下面我们按省份进行查看,由下图可以看出,这次数据的猛跌是全国范围内的,基本上所有的省份都有下迭,这样就排除了某个区域下跌的原因。
那是不是设备出问题了呢?再来看不同操作系统的数据有什么不同,由下图可以看出安卓和iOS在这天都出现了下跌,所以排除了设备出问题的可能性。
那是不是服务挂了呢?按小时或者分钟来查看数据是不是符合平时流量规律?
通过上图可以看出,在这一天的0:01分,平台的数据为0,出现了断崖式下跌。而对于社交产品,以往这个时间用户活跃度是很高的,由此可以确定,这一天的数据异常确实是因为服务挂了。
针对性解决问题:联系相关负责人制定及时有效的解决方案。
执行:落实和监测解决方案的执行效果。
以上五个步骤看起来简单,但它是基于对业务洞察的基础之上的,需要根据以往的经验,才能做出这些判断。如果对自己的业务不了解,再多的工具或是方法论,都是没有用的。所以,需要大家在工作中,不断的积累,不断的验证。
业务分析是所有数据分析工作的基础,不懂业务根本没法进行数据分析,也无从判断数据是否异常。
通过上面的案例解析,发现在确定问题时我们提了很多假设,其实数据只是验证假设的支撑工具。而这些假设是基于对业务有足够了解的基础之上的,在这个过程中,需要不断的去试错,不断的积累行业及业务的洞察,才能做出这些假设。
以上的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
MySQL 执行计划中 rows 数量的准确性解析:原理、影响因素与优化 在 MySQL SQL 调优中,EXPLAIN执行计划是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 对象的 text 与 content:区别、场景与实践指南 在 Python 进行 HTTP 网络请求开发时(如使用requests ...
2025-09-15CDA 数据分析师:激活表格结构数据价值的核心操盘手 表格结构数据(如 Excel 表格、数据库表)是企业最基础、最核心的数据形态 ...
2025-09-15Python HTTP 请求工具对比:urllib.request 与 requests 的核心差异与选择指南 在 Python 处理 HTTP 请求(如接口调用、数据爬取 ...
2025-09-12解决 pd.read_csv 读取长浮点数据的科学计数法问题 为帮助 Python 数据从业者解决pd.read_csv读取长浮点数据时的科学计数法问题 ...
2025-09-12CDA 数据分析师:业务数据分析步骤的落地者与价值优化者 业务数据分析是企业解决日常运营问题、提升执行效率的核心手段,其价值 ...
2025-09-12用 SQL 验证业务逻辑:从规则拆解到数据把关的实战指南 在业务系统落地过程中,“业务逻辑” 是连接 “需求设计” 与 “用户体验 ...
2025-09-11塔吉特百货孕妇营销案例:数据驱动下的精准零售革命与启示 在零售行业 “流量红利见顶” 的当下,精准营销成为企业突围的核心方 ...
2025-09-11CDA 数据分析师与战略 / 业务数据分析:概念辨析与协同价值 在数据驱动决策的体系中,“战略数据分析”“业务数据分析” 是企业 ...
2025-09-11Excel 数据聚类分析:从操作实践到业务价值挖掘 在数据分析场景中,聚类分析作为 “无监督分组” 的核心工具,能从杂乱数据中挖 ...
2025-09-10统计模型的核心目的:从数据解读到决策支撑的价值导向 统计模型作为数据分析的核心工具,并非简单的 “公式堆砌”,而是围绕特定 ...
2025-09-10CDA 数据分析师:商业数据分析实践的落地者与价值创造者 商业数据分析的价值,最终要在 “实践” 中体现 —— 脱离业务场景的分 ...
2025-09-10机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05