卷积神经网络和深度神经网络的区别是什么？

2023-03-22

卷积神经网络（Convolutional Neural Network，CNN）和深度神经网络（Deep Neural Network，DNN）是两种常见的神经网络架构。它们有许多共同点，但在某些方面也有区别。 首先，卷积神经网络主要用于图像识别和计算机 ...

梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？

2023-03-22

梯度下降法是神经网络中最为常用的优化算法，它的主要思想是通过不断迭代来调整神经网络中的参数，从而使得损失函数逐渐逼近全局最小值。然而，由于神经网络中存在大量的非凸性和高维度特征，因此梯度下降法容易收 ...

什么是 end-to-end 神经网络？

2023-03-22

端到端（end-to-end）神经网络是一种广泛应用于机器学习和人工智能领域的模型架构。它是一种能够直接从原始数据中提取特征并输出最终结果的模型，不需要显式地进行手动特征提取或分步骤处理。 在传统的机器学习方法 ...

神经网络中 warmup 策略为什么有效,有什么理论解释么？

2023-03-22

在神经网络的训练中，我们往往会使用warmup策略来提高模型的性能。这个策略简单来说就是在训练开始时，将学习率设置为一个较小的值，并逐步增加到预设的值。这样做的原因和理论解释有什么呢？接下来我们来详细探讨 ...

如何理解神经网络中通过add的方式融合特征？

2023-03-15

神经网络是一种模拟人脑的计算模型，具有自主学习和自我调整的能力。在神经网络中，融合特征的方式有很多种，其中通过add的方式进行特征融合是比较常见的方法。 在神经网络中，每层都会提取出输入数据的一组特征，这 ...

LSTM神经网络输入输出究竟是怎样的？

2023-03-15

LSTM神经网络是一种常用于序列数据建模的深度学习模型，其全称为长短期记忆网络（Long Short-Term Memory Network）。与传统的循环神经网络相比，LSTM网络具有更好的长期依赖性和记忆能力，因此能够有效地处理时间序 ...

神经网络加上注意力机制，精度反而下降，为什么会这样呢？

2023-03-14

近年来，神经网络和注意力机制的结合已经成为了自然语言处理领域中的研究热点。但是，在实际应用中，有时候我们会发现，当将注意力机制加入到神经网络中时，模型的精度反而下降了。为什么会出现这种情况呢？本文将从 ...

神经网络为什么可以（理论上）拟合任何函数？

2023-03-08

神经网络是一种基于多层非线性变换的模型，由于其强大的拟合能力和广泛的应用，成为了机器学习领域中的热门算法之一。在理论上，神经网络可以拟合任何函数，这得益于神经网络的复杂结构和参数优化方法。 首先，神经 ...

AdaGCN：将传统方法AdaBoost用于深度图神经网络，效果会如何（CDA干货内容分享）

2022-01-14

来源：机器学习与知识图谱 Github：https://github.com/datake/AdaGCN 深度图模型仍是一个有待研究的问题，关键之处在于如何有效地汇聚来自多跳邻居节点的特征信息。在本文中，通过将AdaBoost融入到 ...

基于神经网络的推荐系统模型

2018-08-29

基于神经网络的推荐系统模型 为用户提供建议的平台。协同过滤算法是推荐系统中使用的主要算法之一。这种算法简单、高效;然而，数据的稀疏性和方法的可扩展性限制了这些算法的性能，并且很难进一步提高推荐结果 ...

深入浅出|深度学习算法之BP神经网络 详细公式推导

2018-08-29

深入浅出|深度学习算法之BP神经网络 详细公式推导 所谓神经网络，目前用得最广泛的一个定义是“的神经网络是由具有适应性简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出 ...

人工神经网络概念梳理与实例演示

2018-08-17

人工神经网络概念梳理与实例演示 神经网络是一种模仿生物神经元的机器学习模型，数据从输入层进入并流经激活阈值的多个节点。 递归性神经网络一种能够对之前输入数据进行内部存储记忆的神经网络，所以他们能 ...

对贝叶斯、svm和神经网络的入门级理解

2018-08-16

对贝叶斯、svm和神经网络的入门级理解 在省略了不少计算、优化的过程的情况下记录了一些自己对一下三个算法整体思路和关键点的理解，因此也只能说是“入门级理解”。以下是目录索引。 贝叶斯 朴素贝叶斯 ...

关于神经网络中过拟合的问题

2018-07-26

关于神经网络中过拟合的问题 在训练的时候你的模型是否会出现训练时速度很慢？或者预测结果与训练结果相差过大的现象？那我们可能就需要处理一下过拟合的问题了。 首先看一下overfitting维基百科上的一些信 ...

常用的几种神经网络

2018-07-25

常用的几种神经网络 前向反馈网络和感知器是直线向前的，信息从前向后（分别是输入和输出）传播。神经网络通常被描述成多层，其中每一层都由输入、隐藏层、输出单元构成。一层单一网络内部绝对不会有任何连接而 ...

机器学习中使用的神经网络

2017-03-14

机器学习中使用的神经网络 这一小节介绍随机梯度下降法（stochastic gradient descent）在神经网络中的使用，这里首先回顾了第三讲中介绍的线性神经网络的误差曲面(error surface)，如下图所示。线性神经网络对 ...

大数据构建互联网神经网络 护航民生安全

2016-11-24

大数据构建互联网神经网络 护航民生安全 “民生”一词最早出现在《左传·宣公十二年》，所谓“民生在勤，勤则不匮”。 勤，最通俗的解释在于“尽力多做，不断地做。”《辞海》中对于“民生”的解释是“人民的 ...

数据挖掘系列卷积神经网络算法的一个实现

2016-08-16

数据挖掘系列卷积神经网络算法的一个实现 从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透彻，CNN还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠自己去专研 ...

数据挖掘系列BP神经网络算法与实践

2016-08-16

数据挖掘系列BP神经网络算法与实践 神经网络曾经很火，有过一段低迷期，现在因为深度学习的原因继续火起来了。神经网络有很多种：前向传输网络、反向传输网络、递归神经网络、卷积神经网络等。本文介绍基本的反 ...

为什么我们的神经网络需要激活函数

2020-07-30

今天小编给大家分享的文章是：为什么我们的神经网络需要激活函数。神经网络是机器学习里极为重要的一门技术。学习神经网络不仅能让让我们掌握一门强大的机器学习方法，还有利于我们理解深度学习技术。希望通过这篇 ...