机器学习中的许多数据挖掘方法主要是针对数值型数据的,算法也很偏向数理方法(例如支持向量机)。而分类数据(非数值型数据),其本质不过是简单的计数,针对这类数据的一个简单实用的方法就是关联规则挖掘法,谷歌的MapReduce也为这类算法提供了很好的软件构架。下面我们就来讨论一下应用关联规则法的有趣实例。
关联规则法的核心在于研究一些经常相伴发生的事件之间的关系,特别是当他们同时发生的频率远远超出预期时。它最早被用于超市销售,因此又被称为市场 购物篮分析法。举一个数据挖掘教科书中的关于啤酒和尿布关联性的经典案例-去超市买啤酒的男人同时也经常买尿布。假如超市销售量有如下数据:
总销售量:600000
尿布销售量:7500(1.25%)
啤酒销售量:60000(10%)
尿布和啤酒共同销售量:6000(1%)
如果啤酒和尿布之间没有关联的话(即他们之间是统计上独立的),那么按照啤酒在总销售量中的比例来计算,我们预计只有10%的尿布购买者也会买啤 酒。但实际情况却是80%(=6000/7500)的尿布购买者都购买了啤酒,是我们预计的8倍。这个值在关联规则法中被称作电梯值(Lift),即事件 X和Y实际同时发生的频率和预期同时发生的频率之间的比例(Lift=P(x,y)/[P(x)P(y)])。如果事件X和Y相互独立,那么 P(x,y)=P(x)P(y),相应的电梯值即为1。而如果X和Y是互斥事件,则会产生小于1 的电梯值。在这个案例中,关联规则的结论就是尿布购买者也会购买啤酒的电梯值是8。
以上是一个假设的案例,如此高的电梯值在实际生活中非常罕见,但也绝非不可能。2004年佛罗里达州经历了一系列飓风。第一场飓风之后,沃尔玛利用 了他们大量的销售数据来研究顾客在飓风来临之前会买什么。他们发现一个商品的销售量是平时的7倍,这个电梯值在现实生活中非常高的。这个商品既不是瓶装 水,也不是电池,啤酒,手电筒,发电机等等,而是草莓果酱吐司饼干!吐司饼干之所以在飓风来临之前销量大增也许是因为它不需要冰箱保存,不需要烹饪,而且 独立包装,保质期很长,同时本来大家也都很喜欢它。尽管这个发现有些出乎意料,但是沃尔玛利用关联规则的分析补货了大量的草莓吐司饼干,创造了一个双赢的 结果-沃尔玛大大增加了销量,顾客买到了满意的商品。
还有一个大型电子商品零售店也成功地利用关联规则法增加了商品销量。商家根据零售数据,发现许多购买播放器和录影机的顾客会在3-4个月后购买摄影机。于是利用这个关系,商家会给所有购买播放器或者录影机的顾客几个月后邮寄摄影机折扣券,由此来吸引更多顾客购买摄影机。
除了商业营销,关联规则法在科学研究上也有很多应用。乔治梅森大学的一位地质信息教授利用关联规则研究了飓风的内部风速,风眼气压,风切变,降雨 量,方向和速度等等因素和飓风最终等级之间的关系,最后成功建立了新的模型可以更精确地预测飓风的等级。还有一位在美国国家航天中心实习的高中生利用关联 规则法研究了太阳风暴之后太阳高能粒子到达地球的时间关系。他利用卫星收集到的太阳风暴之后太阳和地球磁场的一些特征因素数据,探究了两者之间关系随时间 的变化,即在太阳风暴一小时,两小时,三小时,四小时后,地球磁场的活跃度变化。结果发现在太阳风暴后2-3小时左右地球磁场最活跃,即太阳高能粒子到达 地球的时间。
研究非数值型数据时,我们在挖掘因果关系之前,可关注事件之间的关联性;
如果数据在随时间变化,注意事件之间的关联是否会在某个时间点达到最强。现今越来越多的数据被大量收集,科技平台也越来越发达,许多事物之间意想不到的关联正等待我们发现。那么就让我们从计数开始吧!
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14