一、案例综述
案例编号:102006
案例名称:中英文垃圾短信过滤
作者姓名(或单位、或来源):朱江
案例所属行业:J631 电信
案例所用软件:R
案例包含知识点:中英文文本数据处理 朴素贝叶斯分类
案例描述:
目前全球范围内手机已经不成不可替代的生活必需品,而短信和微信成为人们日常沟通的主要方式,其中广告商利用短信服务(SMS)文本信息,以潜在消费者为目标,给他们发送不需要的广告信息。目前垃圾短信可以实现对固定区域内特定手机号码段的用户群发,并且手机号信息泄露极其严重。这些都导致手机用户特别是老的手机用户收到垃圾短信的频率较高,故垃圾短信和正常短信的分类不管是对于运营商还是对于客户来说都是较为有利的工具。
朴素贝叶斯已经成功的用于垃圾邮件的过滤,所以它很有可能用于垃圾短信的过滤。然而,相对于垃圾邮件来说,垃圾短信的自动过滤有额外的挑战:由于短信文本数的限制,所以一条短信是否是垃圾信息的文本量减少了;短信的口语化导致文本可能极其不规整,尤其是中文文本,会带来文本处理的难度;缩写的形式在中英文文本中都较为普遍,而且中文文本中新兴词汇的使用,都会模糊合法信息和垃圾信息的界限。
本案例包含已经添加好标签的英文短信数据和中文短信数据,英文数据有5559条,可以进行全数据处理,数据文件不是很大。而中文短信有80万条的信息,信息量较大,在处理过程中会生成130多G的稀疏矩阵,远超出R的内存限制,且中文文本处理更为麻烦,故这里按照短信长度正常短信和垃圾短信分别取前1000条进行分类建模
本案例知识点没有办法细分,因为文本处理过程中生成的文本文件都比较大,会加大内存消耗,且建模前的稀疏矩阵存储读取都需要转格式较为繁琐,故这里我们英文短信分类作为一个知识点,中文短信分类作为一个知识点。
本案例共包含两个个知识点
1英文短信文本读取、清洗、词云、建模、评估
2中文短信文本读取、清洗、词云、建模、评估
案例执行形式:
单人上机
二、案例知识点
知识点1:
知识点名称:英文短信文本读取、清洗、词云、建模、评估
知识点所属工作角色:文本处理 文本挖掘 词云 朴素贝叶斯分类 分类模型评估
知识点背景:英文文本挖掘过程中常见的文本预处理,朴素贝叶斯属于一种比较简单的分类模型。
知识点描述:
涉及到英文文本处理中的去除无关字符、大小写转换、去除停用词、去除空白、词汇修剪(stem)
知识点关键词:
文本处理 文本挖掘 词云 朴素贝叶斯分类 分类模型评估
知识点所用软件:
Rstudio
操作目的:
英文短信文本读取、清洗、词云、建模、评估
知识点素材(包括数据):
sms_spam.csv
操作步骤:
读取文件,将其中的type列转化为因子
可见其中正常短信共有4812条,垃圾短信有747条。
将所有的文本信息构建成语料库,并且打印出未经处理的前十条信息
构建去除非子母类字符的函数,用空格替换
使用大写变小写、去除停用词、去除多余空格以及上面构建的函数转换语料库,并且观察转换后的前十条信息
将原数据分为训练集和测试集,其中训练集占75%,测试集占25%。
查看训练集和测试集中垃圾信息占比是否近似
可见占比都在13%左右
将语料库同样分为训练集测试集,方便后面构建文档词矩阵使用
分别对所有训练集,训练集中垃圾信息,训练集中正常信息创建词云
所有训练集信息的词云:
训练集中的垃圾信息的词云:
训练集中正常信息的词云:
筛选出现在大于等于5条短信中的词,由训练语料库和测试语料库生成文档词矩阵(稀疏矩阵),根据筛选出的词筛选稀疏矩阵的列
将文档词矩阵中所有大于0的数字替换为“yes”,0替换为“no”,得到训练矩阵train和测试矩阵test
使用朴素贝叶斯对训练矩阵建模,通过测试矩阵预测出分类,然后评估模型的性能
得到的结果中,正常短信中错误的将垃圾信息预测为正常信息的占比为12.7%,垃圾短信中错误的将正常信息预测为垃圾信息的占比为85%,可见模型性能一般,需要更多的初期工作,例如更多的数据采集,词汇处理上更多的选择等等
操作结果:
得到训练集中不同类型短信的词云;将测试集的短信分类。
知识点小结:
本知识点显示了英文文本清洗及转换为文档词矩阵的全套流程,以及使用朴素贝叶斯进行分类和评估的全套流程。
知识点2:
知识点名称:中文短信文本读取、清洗、词云、建模、评估
知识点所属工作角色:
文本处理 文本挖掘 词云 朴素贝叶斯分类 分类模型评估
知识点背景:
中文文本挖掘过程中常见的文本预处理,朴素贝叶斯属于一种比较简单的分类模型。
知识点描述
涉及到中文文本处理中的去除无关字符、去除停用词、去除空白、分词
知识点关键词:
文本处理 文本挖掘 词云 朴素贝叶斯分类 分类模型评估
知识点所用软件:
Rstudio
操作目的:
中文短信文本读取、清洗、词云、建模、评估
知识点素材(包括数据):
sms_labelled.txt stop.txt
操作步骤:
操作步骤:
读取文件,用readLines按行读取
抽取每行文本中的标签信息、短信信息、计算短信长度、合并成一个表格
可见其中第一列是标签,0表示正常信息,1表示垃圾信息
按文本长度由长到短排列所有信息,选取正常信息和垃圾信息中的前一千条
将标签变量type0重新命名为“ham”和“spam”
去除每条短信中的非中文字符
训练集中的垃圾信息的词云:
训练集中正常信息的词云:
筛选出现在大于等于5条短信中的词,由训练语料库和测试语料库生成文档词矩阵(稀疏矩阵),根据筛选出的词筛选稀疏矩阵的列
将文档词矩阵中所有大于0的数字替换为“yes”,0替换为“no”,得到训练矩阵train和测试矩阵test
使用朴素贝叶斯对训练矩阵建模,通过测试矩阵预测出分类,然后评估模型的性能
得到的结果中,虽然只有200条短信,正常短信中错误的将垃圾信息预测为正常信息的占比为25%,垃圾短信中错误的将正常信息预测为垃圾信息的占比为15.5%,可见模型性能较英文模型有了不错的提升
操作结果:
得到训练集中不同类型短信的词云;将测试集的短信分类。
知识点小结:
本知识点显示了中文文本清洗及转换为文档词矩阵的全套流程,以及使用朴素贝叶斯进行分类和评估的全套流程。
在词云中观察到有乱码,可能是由于txt存储类型不是UTF-8编码,可以打开txt源文件另存为指定编码来处理。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14