登录
首页大数据时代前馈神经网络基本原理是什么?
前馈神经网络基本原理是什么?
2020-07-13
收藏

前馈神经网络可以算是所有的神经网络中最简单,最容易,但也是最有效的一个。但对于刚刚入门的小白来说,难度还是比较大的。到底前馈神经网络是如何实现的,下面就和小编一起来看推到过程吧。

如上图中所示,前馈神经网络中,每个神经元都分别属于不同的层。各层的神经元也能够对前一层神经元的信号进行接收,并将产生信号直接输出到下一层。第 0 层称为输入层,最后一层为输出层,其它的中间层就是隐藏层,相邻两层的神经元的关系为:全连接关系,也就是全连接神经网络(FNN)。

一、符号说明

前馈神经网络通过下面公式进行信息传播:


上面两式也可以得到:

或者

二、 反向传播算法推导过程

反向传播算法的含义是:第l层的一个神经元的残差是所有与该神经元相连的第l+ 1 层的神经元的残差的权重和,然后在乘上该神经元激活函数的梯度。

1)目标函数

给定一个包含m个样本的训练集,目标函数为:

采用梯度下降方法最小化J(W,b), 参数更新方式如下:

(2)计算

根据链式法则可得:

对于网络其它层,残差可通过如下递推公式计算:

(3)计算

与上述(2)计算原理相同

综上所述:

数据分析咨询请扫描二维码

客服在线
立即咨询