
2020-07-13
前馈神经网络可以算是所有的神经网络中最简单,最容易,但也是最有效的一个。但对于刚刚入门的小白来说,难度还是比较大的。到底前馈神经网络是如何实现的,下面就和小编一起来看推到过程吧。
如上图中所示,前馈神经网络中,每个神经元都分别属于不同的层。各层的神经元也能够对前一层神经元的信号进行接收,并将产生信号直接输出到下一层。第 0 层称为输入层,最后一层为输出层,其它的中间层就是隐藏层,相邻两层的神经元的关系为:全连接关系,也就是全连接神经网络(FNN)。
一、符号说明
前馈神经网络通过下面公式进行信息传播:
上面两式也可以得到:
或者
二、 反向传播算法推导过程
反向传播算法的含义是:第l层的一个神经元的残差是所有与该神经元相连的第l+ 1 层的神经元的残差的权重和,然后在乘上该神经元激活函数的梯度。
1)目标函数
给定一个包含m个样本的训练集,目标函数为:
采用梯度下降方法最小化J(W,b), 参数更新方式如下:
(2)计算
根据链式法则可得:
对于网络其它层,残差可通过如下递推公式计算:
(3)计算
与上述(2)计算原理相同
综上所述:
完 谢谢观看