前馈神经网络可以算是所有的神经网络中最简单，最容易，但也是最有效的一个。但对于刚刚入门的小白来说，难度还是比较大的。到底前馈神经网络是如何实现的，下面就和小编一起来看推到过程吧。

如上图中所示，前馈神经网络中，每个神经元都分别属于不同的层。各层的神经元也能够对前一层神经元的信号进行接收，并将产生信号直接输出到下一层。第 0 层称为输入层，最后一层为输出层，其它的中间层就是隐藏层，相邻两层的神经元的关系为：全连接关系，也就是全连接神经网络(FNN)。

一、符号说明

前馈神经网络通过下面公式进行信息传播:

上面两式也可以得到：

或者

二、 反向传播算法推导过程

反向传播算法的含义是：第l层的一个神经元的残差是所有与该神经元相连的第l+ 1 层的神经元的残差的权重和，然后在乘上该神经元激活函数的梯度。

1)目标函数

给定一个包含m个样本的训练集，目标函数为：

采用梯度下降方法最小化J(W,b)， 参数更新方式如下：

(2)计算

根据链式法则可得：

对于网络其它层，残差可通过如下递推公式计算：

(3)计算

与上述（2）计算原理相同

综上所述：