过拟合是如何产生的？有什么好的解决方法？

2020-07-23

在机器学习中，相对于欠拟合，过拟合出现的频次更高。这是因为，假设某一数据集其对应的模型为‘真’模型，我们通常是采用提高模型的复杂度的方法，来避免欠拟合现象的产生，但与此同时，我们又很难把网络设计成和 ...

学习曲线--帮你清晰判断过拟合和欠拟合

2020-07-09

前面小编给大家简单介绍过拟合和欠拟合时，提到了一个概念：学习曲线，我们通过学习曲线能够很清晰的判别出模型现在说出的状态是欠拟合还是过拟合，下面小编具体整理了学习曲线的相关内容，希望对大家有所帮助。 ...

过拟合(over-fitting)出现的原因及相应的解决方法

2020-07-08

过拟合(over-fitting)是指机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。也就是referstoa模型对于训练数据拟合程度过高的情况。 通过学习曲线来理解 ...

机器学习中防止过拟合方法

2018-02-25

机器学习中防止过拟合方法 过拟合 在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布，即当前已产生的数据可以对未来的数据进行推测与模拟，因此都是使用历史数据建立模 ...

决策树、逻辑回归、线性回归使用时注意事项以及模型过拟合策略

2018-01-17

决策树、逻辑回归、线性回归使用时注意事项以及模型过拟合策略  决策树缺点和注意事项：     决策树的最大缺点是原理中的贪心算法。因此它所做的选择只能是某种意义上的局部最优选择。 &nb ...

机器学习-回归模型-欠拟合和过拟合

2017-03-20

机器学习-回归模型-欠拟合和过拟合 1. 什么是欠拟合和过拟合 先看三张图片，这三张图片是线性回归模型 拟合的函数和训练集的关系 第一张图片拟合的函数和训练集误差较大，我们称这种情况为 欠拟合 ...

为什么有的神经网络加入注意力机制后效果反而变差了？

2023-03-23

注意力机制是一种在神经网络中应用广泛的技术，能够帮助模型更好地理解输入数据，提高模型的性能和精度。然而，有时候加入注意力机制后模型的效果并没有得到明显的提升，甚至会变差。那么，为什么有的神经网络加入注 ...

神经网络中的偏置（bias）究竟有什么用？

2023-03-23

神经网络中的偏置（bias）是一个常数，它被添加到每个神经元的加权输入中。虽然它只是一个小的常数项，但却在神经网络的学习过程中起着重要的作用。在本文中，我们将详细探讨偏置的作用及其在神经网络中的重要性。 ...

神经网络如何进行回归预测？

2023-03-23

神经网络是一种模拟人脑神经元工作方式的机器学习算法，具有强大的非线性建模能力和自适应性。在回归预测问题中，神经网络通常被用来对输入数据进行函数拟合，从而预测相关的输出值。本文将介绍神经网络进行回归预测 ...

LSTM里Embedding Layer的作用是什么？

2023-03-22

LSTM是一种经典的循环神经网络，已经广泛应用于自然语言处理、语音识别、图像生成等领域。在LSTM中，Embedding Layer（嵌入层）是非常重要的一部分，它可以将输入序列中的每个离散变量映射成一个连续向量，从而便于 ...

如何实现用遗传算法或神经网络进行因子挖掘？

2023-03-22

因子挖掘是指从数据中寻找影响目标变量的关键因素，它在金融、医学、生物等领域都有广泛的应用。遗传算法和神经网络是两种常用的因子挖掘方法。本文将介绍如何使用这两种方法进行因子挖掘，并对其优缺点进行分析。 ...

pytorch如何设置batch-size和num_workers，避免超显存, 并提高实验速度？

2023-03-22

PyTorch 是一个广泛使用的深度学习框架，在使用过程中，设置 Batch Size 和 Num Workers 是非常重要的。Batch Size 与 Num Workers 的设置关系到 GPU 内存的使用和训练速度。 在 PyTorch 中，通过 DataLoader 对数据 ...

如何用神经网络实现连续型变量的回归预测？

2023-03-22

神经网络是一种强大的机器学习工具，已被广泛应用于各种预测和分类问题。其中一个常见的应用是使用神经网络进行连续型变量的回归预测。本文将介绍如何使用神经网络完成这个任务。 数据准备 首先，我们需要准备数据 ...

机器学习算法中 GBDT 和 XGBOOST 的区别有哪些？

2023-03-22

Gradient Boosting Decision Tree (GBDT) 和 Extreme Gradient Boosting (XGBoost) 都是目前机器学习领域中非常流行的算法。两种算法都采用了 boosting 方法来提高分类或回归效果，但在实现细节上还是有一些区别的 ...

如何理解神经网络中通过add的方式融合特征？

2023-03-15

神经网络是一种模拟人脑的计算模型，具有自主学习和自我调整的能力。在神经网络中，融合特征的方式有很多种，其中通过add的方式进行特征融合是比较常见的方法。 在神经网络中，每层都会提取出输入数据的一组特征，这 ...

神经网络加上注意力机制，精度反而下降，为什么会这样呢？

2023-03-14

近年来，神经网络和注意力机制的结合已经成为了自然语言处理领域中的研究热点。但是，在实际应用中，有时候我们会发现，当将注意力机制加入到神经网络中时，模型的精度反而下降了。为什么会出现这种情况呢？本文将从 ...

数据分析之数据挖掘入门指南

2022-10-25

数据分析 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 常用的第三方库 ...

数据分析师之数据挖掘入门

2022-10-19

数据分析 探索性数据分析（Exploratory Data Analysis，EDA）是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。 常用的第三方库 ...

如何学习机器学习的数学知识

2022-02-16

分享  数据科学有志之士最常见的问题之一是  行业中的守门人对这种担忧没有帮助，他们给学生贴上了不合格的标签，除非他们拥有该学科的硕士或博士学位。  那么，为了在数据科学行业 ...

如何避免无效的数据分析结果，这六种错误不可忽视

2021-12-08

导读：在数据清洗过程中，主要处理的是缺失值、异常值和重复值。所谓清洗，是对数据集通过丢弃、填充、替换、去重等操作，达到去除异常、纠正错误、补足缺失的目的。 作者：宋天龙 本文转自：大数据DT（ ...