
异常值的定义是:和大多数样本表现不一致的个体。
数据噪声:就好比当你收听一个信号不好的无线广播时,你会听到许多背景噪声。
图中橙色区域的数据围绕某个值上下波动并且没有表现出确定的趋势,我们称之为白噪声数据。
图中红圈中的数据是噪声数据吗?抑或是某种未发现趋势的峰值呢?
一个好的算法可以检测出异常值并将其剔除掉,AnomalyDetection包种的AnomalyDetectionTs函数可以很好地实现这个功能。
本文案例采用的是维基百科的数据,我们可以利用R通过API接口下载某个特定词项每日浏览量的数据。
本文的研究数据是:英文词语fifa从2013-02-22至今每日浏览量的数据。
算法中的参数max_anoms=0.01表示在最终结果中标注出0.01%的异常值;而参数direction=”pos”则表示检测高于平均水平的异常值。
如下表所示,该算法不仅可以检测出异常值,还会返回对应的平均水平值。
如果你想了解更多的关于该算法的数学原理,你可以搜索Generalized ESD和时间序列分解。
上图中黑色直线表示该时期内的浏览量呈递减趋势。有趣的是,位于直线上方用黑圈标注出来的两个点并没有被判定为异常值,这是因为该异常值检测算法主要关注的是趋势变化时的情况。黑圈中的点还是处于下降趋势中,所以没有被判定为异常值。相反地,2014-07-12的浏览量突然上升,突破前期的下降趋势,因此该点被判定为异常值。
词语fifa浏览量的异常值与国际足联的新闻消息息息相关,第一组异常值出现在2014年世界杯期间(2014年6 – 7月),而第二组异常值出现在国际足联丑闻事件期间(2015年5月)。
洛杉矶时报中展示了国际足联丑闻事件进展的时间表,正如我们算法所检测出的异常值,该丑闻事件有两个重要的时间点:5月27日和28日。
附录(R Code)
install.packages(“devtools”)
devtools::install_github(“petermeissner/wikipediatrend”)
devtools::install_github(“twitter/AnomalyDetection”)
install.packages(“Rcpp”)
library(wikipediatrend) ## Library containing API wikipedia access
library(AnomalyDetection)
library(ggplot2)
Download wiki webpage “fifa”
fifa_data = wp_trend(“fifa”, from=”2013-03-18”, lang = “en”)
Plotting data
ggplot(fifa_data, aes(x=date, y=count, color=count)) + geom_line()
Convert date variable
fifa_data<img alt=”date=as.POSIXct(fift_data”data-cke-saved-src=”https://chart.googleapis.com/chart?cht=tx&chl=date%20%3D%20as.POSIXct(fifa_data”>date)
Keep only desiered variables (date & page views)
fifa_data=fifa_data[,c(1,2)]
Apply anomaly detection
data_anomaly = AnomalyDetectionTs(fifa_data, max_anoms=0.01, direction=”pos”, plot=TRUE, e_value = T)
jpeg(“03_fifa_wikipedia_term_page_views_anomaly_detection.jpg”, width= 8.25, height= 5.25, units=”in”, res=500, pointsize = 4)
Plot original data + anomalies points
data_anomaly$plot
dev.off()
Calculate deviation percentage from the expected value
data_anomalyperc_diff=round(100*(data_anomalyexpected_value-data_anomalyanoms)/data_anomalyexpected_value)
Plot anomalies table
anomaly_table=data_anomaly$anoms
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
人工智能对CDA数据分析领域的影响 人工智能对 CDA(Certified Data Analyst,注册数据分析师)数据分析领域的影响是全方位、多层 ...
2025-08-07SPSS 语法使用详解 在当今数据驱动的时代,SPSS( Statistical Package for the Social Sciences)作为一款功能强大的统计分析软 ...
2025-08-07SASEM 决策树:理论与实践应用 在复杂的决策场景中,如何从海量数据中提取有效信息并制定科学决策,是各界关注的焦点。SASEM 决 ...
2025-08-07CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-07大数据时代对定性分析的影响 在大数据时代,海量、多样、高速且低价值密度的数据充斥着我们的生活与工作。而定性分析作为一 ...
2025-08-07K-S 曲线、回归与分类:数据分析中的重要工具 在数据分析与机器学习领域,K-S 曲线、回归和分类是三个核心概念与工具,它们各 ...
2025-08-07CDA 数据分析师考试全解析 在当今数字化时代,数据已成为企业发展的核心驱动力,数据分析师这一职业也愈发受到重视。CDA 数据分 ...
2025-08-07大数据时代的隐患:繁荣背后的隐忧 当我们在电商平台浏览商品时,系统总能 “精准” 推送心仪的物品;当我们刷短视频时,算法 ...
2025-08-07解析 F 边界检验:协整分析中的实用工具 在计量经济学的时间序列分析中,判断变量之间是否存在长期稳定的均衡关系(即协整关系) ...
2025-08-07CDA 数据分析师报考条件详解:迈向专业认证的指南 在数据分析行业蓬勃发展的当下,CDA 数据分析师认证成为众多从业者提升专业 ...
2025-08-07通过 COX 回归模型诊断异常值 一、COX 回归模型概述 COX 回归模型,又称比例风险回归模型,是一种用于生存分析的统计方法。它能 ...
2025-08-07评判两组数据与初始数据准确值的方法 在数据分析与研究中,我们常常会面临这样的情况:需要对通过不同方法、不同过程得到的两组 ...
2025-08-07CDA 数据分析师行业标准:构建数据人才的能力坐标系 在数据驱动决策成为企业核心竞争力的时代,CDA(数据分析师)行业标准作为 ...
2025-08-07反向传播神经网络:突破传统算法瓶颈的革命性力量 在人工智能发展的历史长河中,传统算法曾长期主导着数据处理与模式识别领域 ...
2025-08-07MySQL 统计连续每天数据:从业务需求到技术实现 在数据分析场景中,连续日期的数据统计是衡量业务连续性的重要手段 —— 无论是 ...
2025-08-07抖音数据分析师:驱动平台增长的幕后推手 在抖音这个日活用户数以亿计的超级平台上,每一次用户的滑动、点赞、评论,每一条 ...
2025-08-07基于 SPSS 的中介效应分析结果解读:揭示变量间的隐性关联 在社会科学与自然科学研究中,变量之间的关系往往并非简单的直接作用 ...
2025-08-07正态分布与偏态分布的核心区别解析 在统计学中,数据的分布形态是理解数据特征、选择分析方法的基础。正态分布与偏态分布作为两 ...
2025-08-07CDA 一级考试内容详解 CDA(Certified Data Analyst)即数据分析师认证,一级考试作为该认证体系中的入门级别考试,主要面向零基 ...
2025-08-07中介分析的 SPSS 结果解读:从原理到实践 在社会科学、医学、心理学等领域的研究中,变量之间的关系往往并非简单的直接影响,而 ...
2025-08-07