使用R原生函数来做文本挖掘
最近有几位同学问到我如何利用tm包做文本挖掘，比较抱歉的是时间不太充足，不能完整更新文档。 在这里只好给大家一些tips，来利用R的原生函数来完成文本挖掘的核心步骤。
setwd('C:/Users/Administrator/Downloads')
options(width = 150)
library(data.table)
x <- fread('comment.txt', sep = '\t', header = FALSE)
x$V3 <- iconv(x$V3, 'UTF-8', 'GBK') # 第三类为文本内容，字符集转化
x <- x[which(nchar(x$V3) > 3),]
n <- 10000 # 设置抽样数量，保证计算时长
x <- x[sample(1:nrow(x),n),]
library(jiebaR)
library(Matrix)
JR = worker(user = 'D:/source/RecModels/prototype/TagGen/userdict.txt')
seg_raw <- sapply(x$V3, segment, JR) # 执行分词
id <- unique(unlist(seg_raw)) # 生成Term
id <- id[nchar(id) >=2 & nchar(id) <= 5] # 将Term太长和太短的去掉，比如“强”
col_id <- as.vector(unlist(sapply(seg_raw, match, id)))
NA_index <- !is.na(col_id)
col_id <- col_id[NA_index] # 去除列的空值位置号
row_num <- sapply(seg_raw, length)
row_id <- rep(1:length(seg_raw), times = row_num)
row_id <- row_id[NA_index] # 去除行的空值位置号
## 生成DTMatirx
m <- sparseMatrix(i = row_id, j = col_id)
核心思想是创造Term和原始文档分词之后对应的索引，来创造Document Term Matrix。当然中间涉及各种Term的预处理，这时候使用标准函数即可操作。数据分析师培训
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在数据科学的工具箱中，析因分析（Factor Analysis, FA）、聚类分析（Clustering Analysis）与主成分分析（Principal Component ...
2025-12-18自2017年《Attention Is All You Need》一文问世以来，Transformer模型凭借自注意力机制的强大建模能力，在NLP、CV、语音等领域 ...
2025-12-18在CDA（Certified Data Analyst）数据分析师的时间序列分析工作中，常面临这样的困惑：某电商平台月度销售额增长20%，但增长是来 ...
2025-12-18在机器学习实践中，“超小数据集”（通常指样本量从几十到几百，远小于模型参数规模）是绕不开的场景——医疗领域的罕见病数据、 ...
2025-12-17数据仓库作为企业决策分析的“数据中枢”，其价值完全依赖于数据质量——若输入的是缺失、重复、不一致的“脏数据”，后续的建模 ...
2025-12-17在CDA（Certified Data Analyst）数据分析师的日常工作中，“随时间变化的数据”无处不在——零售企业的每日销售额、互联网平台 ...
2025-12-17在休闲游戏的运营体系中，次日留存率是当之无愧的“生死线”——它不仅是衡量产品核心吸引力的首个关键指标，更直接决定了后续LT ...
2025-12-16在数字化转型浪潮中，“以用户为中心”已成为企业的核心经营理念，而用户画像则是企业洞察用户、精准决策的“核心工具”。然而， ...
2025-12-16在零售行业从“流量争夺”转向“价值深耕”的演进中，塔吉特百货（Target）以两场标志性实践树立了行业标杆——2000年后的孕妇精 ...
2025-12-15在统计学领域，二项分布与卡方检验是两个高频出现的概念，二者都常用于处理离散数据，因此常被初学者混淆。但本质上，二项分布是 ...
2025-12-15在CDA（Certified Data Analyst）数据分析师的工作链路中，“标签加工”是连接原始数据与业务应用的关键环节。企业积累的用户行 ...
2025-12-15在Python开发中，HTTP请求是与外部服务交互的核心场景——调用第三方API、对接微服务、爬取数据等都离不开它。虽然requests库已 ...
2025-12-12在数据驱动决策中，“数据波动大不大”是高频问题——零售店长关心日销售额是否稳定，工厂管理者关注产品尺寸偏差是否可控，基金 ...
2025-12-12在CDA（Certified Data Analyst）数据分析师的能力矩阵中，数据查询语言（SQL）是贯穿工作全流程的“核心工具”。无论是从数据库 ...
2025-12-12很多小伙伴都在问CDA考试的问题，以下是结合 2025 年最新政策与行业动态更新的 CDA 数据分析师认证考试 Q&A，覆盖考试内容、报考 ...
2025-12-11在Excel数据可视化中，柱形图因直观展示数据差异的优势被广泛使用，而背景色设置绝非简单的“换颜色”——合理的背景色能突出核 ...
2025-12-11在科研实验、商业分析或医学研究中，我们常需要判断“两组数据的差异是真实存在，还是偶然波动”——比如“新降压药的效果是否优 ...
2025-12-11在CDA（Certified Data Analyst）数据分析师的工作体系中，数据库就像“数据仓库的核心骨架”——所有业务数据的存储、组织与提 ...
2025-12-11在神经网络模型搭建中，“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活，导致回归任务输出异 ...
2025-12-05在机器学习落地过程中，“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据， ...
2025-12-05
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
