1027670370

2020-11-10   阅读量: 702

​分词的意义

扫码加入数据分析学习群

英文中用空格分开的每个词都有意义。在中文中很多情况下,多个汉字才能表达一个意义。例如: "苹果很好吃" 这句话中,“苹果” 这两个汉字联合起来才表达了“苹果”这个可以吃的东西。中文分词就是把句子按照词进行切分。 分词是很多中文自然语言处理的基础,很多文本挖掘都是基于词的基础上进行的,例如:文本分类、聚类、规则系统。

结巴分词是一款优秀的开源Rpython分词工具,结巴分词具有以下特点: 1) 支持自定义词典 2) 多种模式切分 3) 关键词抽取算法 4) 支持词性标注

32.8859 4 0 关注作者 收藏

评论(0)


暂无数据

推荐课程