如何利用机器学习算法进行文本分类？

2023-11-02

随着信息爆炸时代的到来，海量的文本数据需要被整理和归类。机器学习算法为文本分类提供了有效的解决方案。本文将介绍如何利用机器学习算法进行文本分类，并探索其中的关键步骤和常用技术。 随着互联网的迅速发展， ...

浅谈利用逻辑回归来解决文本分类时的模型调优

2018-01-18

浅谈利用逻辑回归来解决文本分类时的模型调优 想和数据挖掘沾点边，所以最近在复习一些算法，因为又学了点R，深感这是个统计分析挖掘的利器，所以想用R实现一些挖掘算法。 朴素贝叶斯法大概是最简单的一种挖 ...

朴素贝叶斯分类算法理解及文本分类器实现

2017-12-11

朴素贝叶斯分类算法理解及文本分类器实现 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。本文作为分类算法的第一篇，将首先介绍分类问题，对分类问题进行一个正式的定义 ...

文本分类和聚类有什么区别

2017-12-10

文本分类和聚类有什么区别 简单点说：分类是将一篇文章或文本自动识别出来，按照已经定义好的类别进行匹配，确定。聚类就是将一组的文章或文本信息进行相似性的比较，将比较相似的文章或文本信息归为同一组的技 ...

R语言实现朴素贝叶斯中文文本分类

2017-01-13

R语言实现朴素贝叶斯中文文本分类 一、朴素贝叶斯及其原理。     贝叶斯公式P(A|B) = P(B|A)*P(A)/P(B)   其中：P(A|B)  是B的后验概率，是我们计算出来的。 P(B)是先验概率，是 ...

一文带你了解中文文本分类的关键技术--中文分词

2020-07-28

通常来说，计算机对于网络上存在的大量半结构化或结构化的文本数据，计算机很难直接进行处理，因此我们需要在文本分类之前对这些数据作相应的预处理。 文本的预处理分为：文本分词、去除停用词、词义消歧、统 ...

python编写朴素贝叶斯用于文本分类

2018-01-08

python编写朴素贝叶斯用于文本分类 朴素贝叶斯估计 朴素贝叶斯是基于贝叶斯定理与特征条件独立分布假设的分类方法。首先根据特征条件独立的假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入 ...

一种根据关键字进行分类的文本分类算法

2017-12-10

一种根据关键字进行分类的文本分类算法 这样我们可以得出这个算法的重点： 1.提取关键字 如何自动提取关键字呢？我们知道IDF值在一定程度上可以表达一个词的重要程度，像“我的”，“你的” ...

文本分类常用算法比较

2017-12-10

文本分类常用算法比较 本文对文本分类中的常用算法进行了小结，比较它们之间的优劣，为算法的选择提供依据。  一、决策树（Decision Trees） 优点：  1、决策树易于理解和解 ...

朴素贝叶斯模型:文本分类+垃圾邮件分类

2017-12-10

朴素贝叶斯模型:文本分类+垃圾邮件分类 学习了那么多机器学习模型，一切都是为了实践，动手自己写写这些模型的实现对自己很有帮助的，坚持，共勉。本文主要致力于总结贝叶斯实战中程序代码的实现（python）及朴 ...

利用spark做文本分类（朴素贝叶斯模型）

2017-12-10

利用spark做文本分类（朴素贝叶斯模型） 朴素贝叶斯模型 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基 ...

R文本分类之RTextTools

2017-05-09

R文本分类之RTextTools 古有曹植七步成诗，而RTextTools是一款让你可以在十步之内实现九种主流的机器学习分类器模型的文本分类开发包。 它集成了(或者说支持)如下算法相关的包： 支持向量机（Support Vec ...

【CDA干货】数学界中的统计学高级算法：原理、应用与价值

2025-12-26

统计学作为数学的重要分支，是连接数据与决策的桥梁。随着数据规模的爆炸式增长和复杂问题的涌现，传统统计方法已难以应对高维、非线性、异构数据的分析需求。数学界由此衍生出一系列统计学高级算法，这些算法以深厚 ...

【CDA干货】Transformer的“记忆漏洞”：灾难性遗忘原理与破解之道

2025-12-18

自2017年《Attention Is All You Need》一文问世以来，Transformer模型凭借自注意力机制的强大建模能力，在NLP、CV、语音等领域掀起革命。从GPT系列的文本生成到ViT的图像识别，Transformer已成为深度学习的核心架构 ...

【CDA干货】超小数据集训练Loss的极限探索：非过拟合前提下的边界与突破

2025-12-17

在机器学习实践中，“超小数据集”（通常指样本量从几十到几百，远小于模型参数规模）是绕不开的场景——医疗领域的罕见病数据、工业场景的故障样本、科研中的初期实验数据等，都可能受限于采集成本或样本稀缺性，只 ...

【CDA干货】大模型每层神经元个数怎么定？从原理到实操的完整指南

2025-11-10

在大模型（如 Transformer、CNN、多层感知机）的结构设计中，“每层神经元个数” 是决定模型性能与效率的关键参数 —— 个数过少会导致 “欠拟合”（模型容量不足，无法捕捉复杂规律），个数过多则会引发 “过拟合” ...

【CDA干货】机器学习分类模型：从原理到实战的完整指南

2025-11-06

在机器学习领域，“分类模型” 是解决 “类别预测” 问题的核心工具 —— 从 “垃圾邮件识别（是 / 否）” 到 “疾病诊断（良性 / 恶性）”，从 “客户流失预测（流失 / 留存）” 到 “图像分类（猫 / 狗 / 汽车）” ...

【CDA干货】神经网络隐藏层个数怎么确定？从原理到实战的完整指南

2025-10-21

在神经网络设计中，“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”（模型无法捕捉复杂数据规律，如用单隐藏层 MLP 识别复杂图像），太多则会引发 “过拟合”“训练缓慢”“资源浪费”（如用 1 ...

【CDA干货】神经网络隐藏层层数怎么确定？从原理到实战的完整指南

2025-10-14

在神经网络模型设计中，“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少，模型可能 “欠拟合”（无法捕捉数据复杂规律）；层数过多，又会导致 “过拟合”（记忆训练噪声）、训练效率低下、梯度消 ...

【CDA干货】深度神经网络神经元个数确定指南：从原理到实战的科学路径

2025-09-25

深度神经网络神经元个数确定指南：从原理到实战的科学路径 在深度神经网络（DNN）的设计中，“神经元个数” 是决定模型性能的关键超参数之一 —— 过少的神经元会导致模型 “欠拟合”（无法学习到数据的复杂规律）， ...