1文本挖掘定义
文本挖掘指的是从文本数据中获取有价值的信息和知识,它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类,前者是有监督的挖掘算法,后者是无监督的挖掘算法。
2文本挖掘步骤
1)读取数据库或本地外部文本文件
2)文本分词
2.1)自定义字典
2.2)自定义停止词
2.3)分词
2.4)文字云检索哪些词切的不准确、哪些词没有意义,需要循环2.1、2.2和 2.3步骤
3)构建文档-词条矩阵并转换为数据框
4)对数据框建立统计、挖掘模型
5)结果反馈
3文本挖掘所需工具
本次文本挖掘将使用R语言实现,除此还需加载几个R包,它们是tm包、tmcn包、Rwordseg包和wordcloud包。
4实战
本文对该数据集做了整合,将各个主题下的新闻汇总到一张csv表格中,数据格式如下图所示:
具体数据可至文章后面的链接。
#加载所需R包 library(tm) library(Rwordseg) library(wordcloud) library(tmcn) #读取数据 mydata <- read.table(file = file.choose(), header = TRUE, sep = ',', stringsAsFactors = FALSE) str(mydata)
接下来需要对新闻内容进行分词,在分词之前需要导入一些自定义字典,目的是提高切词的准确性。由于文本中涉及到军事、医疗、财经、体育等方面的内容,故需要将搜狗字典插入到本次分析的字典集中。
#添加自定义字典 installDict(dictpath = 'G:\\dict\\财经金融词汇大全【官方推荐】.scel', dictname = 'Caijing', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\军事词汇大全【官方推荐】.scel', dictname = 'Junshi', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\篮球【官方推荐】.scel', dictname = 'Lanqiu', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\旅游词汇大全【官方推荐】.scel', dictname = 'Lvyou', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\汽车词汇大全【官方推荐】.scel', dictname = 'Qiche1', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\汽车频道专用词库.scel', dictname = 'Qiche2', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\医学词汇大全【官方推荐】.scel', dictname = 'Yixue', dicttype = 'scel') installDict(dictpath = 'G:\\dict\\足球【官方推荐】.scel', dictname = 'Zuqiu', dicttype = 'scel') #查看已安装的词典 listDict()
如果需要卸载某些已导入字典的话,可以使用uninstallDict()函数。
分词前将中文中的英文字母统统去掉。
#剔除文本中含有的英文字母 mydata$Text <- gsub('[a-zA-Z]','',mydata$Text) #分词 segword <- segmentCN(strwords = mydata$Text) #查看第一条新闻分词结果 segword[[1]]
图中圈出来的词对后续的分析并没有什么实际意义,故需要将其剔除,即删除停止词。
#创建停止词 mystopwords <- read.table(file = file.choose(), stringsAsFactors = FALSE) head(mystopwords) class(mystopwords) #需要将数据框格式的数据转化为向量格式 mystopwords <- as.vector(mystopwords[,1]) head(mystopwords)
停止词创建好后,该如何删除76条新闻中实际意义的词呢?下面通过自定义删除停止词的函数加以实现。
#自定义删除停止词的函数 removewords <- function(target_words,stop_words){ target_words = target_words[target_words%in%stop_words==FALSE] return(target_words) } segword2 <- sapply(X = segword, FUN = removewords, mystopwords) #查看已删除后的分词结果 segword2[[1]]
相比与之前的分词结果,这里瘦身了很多,剔除了诸如“是”、“的”、“到”、“这”等无意义的次。
判别分词结果的好坏,最快捷的方法是绘制文字云,可以清晰的查看哪些词不该出现或哪些词分割的不准确。
#绘制文字图 word_freq <- getWordFreq(string = unlist(segword2)) opar <- par(no.readonly = TRUE) par(bg = 'black') #绘制出现频率最高的前50个词 wordcloud(words = word_freq$Word, freq = word_freq$Freq, max.words = 50, random.color = TRUE, colors = rainbow(n = 7)) par(opar)
很明显这里仍然存在一些无意义的词(如说、日、个、去等)和分割不准确的词语(如黄金周切割为黄金,医药切割为药等),这里限于篇幅的原因,就不进行再次添加自定义词汇和停止词。
#将已分完词的列表导入为语料库,并进一步加工处理语料库 text_corpus <- Corpus(x = VectorSource(segword2)) text_corpus
此时语料库中存放了76条新闻的分词结果。
#去除语料库中的数字 text_corpus <- tm_map(text_corpus, removeNumbers) #去除语料库中的多余空格 text_corpus <- tm_map(text_corpus, stripWhitespace) #创建文档-词条矩阵 dtm <- DocumentTermMatrix(x = text_corpus, control = list(wordLengths = c(2,Inf))) dtm
从图中可知,文档-词条矩阵包含了76行和7939列,行代表76条新闻,列代表7939个词;该矩阵实际上为稀疏矩阵,其中矩阵中非0元素有11655个,而0元素有591709,稀疏率达到98%;最后,这7939个词中,最频繁的一个词出现在了49条新闻中。
由于稀疏矩阵的稀疏率过高,这里将剔除一些出现频次极地的词语。
#去除稀疏矩阵中的词条 dtm <- removeSparseTerms(x = dtm, sparse = 0.9) dtm
这样一来,矩阵中列大幅减少,当前矩阵只包含了116列,即116个词语。
为了便于进一步的统计建模,需要将矩阵转换为数据框格式。
#将矩阵转换为数据框格式 df <- as.data.frame(inspect(dtm)) #查看数据框的前6行(部分) head(df)
聚类分析是文本挖掘的基本应用,常用的聚类算法包括层次聚类法、划分聚类法、EM聚类法和密度聚类法。
这里使用层次聚类中的McQuitty相似分析法实现新闻的聚类。
#计算距离 d <- dist(df) #层次聚类法之McQuitty相似分析法 fit1 <- hclust(d = d, method = 'mcquitty') plot(fit1) rect.hclust(tree = fit1, k = 7, border = 'red')
这里的McQuitty层次聚类法效果不理想,类与类之间分布相当不平衡,我想可能存在三种原因:
1)文章的主干关键词出现频次不够,使得文章没能反映某种主题;
2)分词过程中没有剔除对建模不利的干扰词,如中国、美国、公司、市场、记者等词语;
3)没能够准确分割某些常用词,如黄金周。
5总结
所以在实际的文本挖掘过程中,最为困难和耗费时间的就是分词部分,既要准确分词,又要剔除无意义的词语,这对文本挖掘者是一种挑战。数据分析师培训
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14