登录
首页大数据时代如何理解深度学习中深度神经网络DNN?
如何理解深度学习中深度神经网络DNN?
2020-07-14
收藏

前面跟大家介绍了RNN与CNN,下面小编简单跟大家介绍一下DNN-深度神经网络

深度神经网络DNN,全称Deep Neural Networks,是深度学习的基础。与循环神经网络RNN、卷积神经网络CNN的最大区别就是:DNN特指全连接的神经元结构,并不包含卷积单元或是时间上的关联。

1.DNN的基本结构

DNN也可以称为有很多隐藏层的神经网络,有时也叫做多层感知机(Multi-Layer perceptron,MLP)。

DNN按不同层的位置划分,其内部的神经网络层可以分为三类,输入层,隐藏层和输出层,如下图所示,通常第一层是输入层,即原始的样本数据;最底层层是输出层,为最终的计算结果;中间的层数都是隐藏层。

层与层之间是全连接的,这也就意味着,第i层的任意一个神经元一定与第i+1层的任意一个神经元相连。DNN虽然看起来很复杂,可是从小的局部模型来看,感知机还是一样的,也就是一个线性关系z=∑wixi+bz=∑wixi+b加上一个激活函数σ(z)σ(z)。

2.具体的参数在DNN中的定义

由于DNN层数多,权重系数w和偏置b的数量很多。那么在DNN是如何定义的呢?

如下图所示,以一个三层的DNN为例,第二层的第4个神经元到第三层的第2个神经元的线性系数定义为w324.上标3代表w所在的层数,而下标对应的是输出的第三层索引2和输入的第二层索引4.输入层是没有w参数的

偏置b,以这个三层的DNN为例,第二层的第三个神经元对应的偏置定义为b23上标2代表所在的层数,下标3代表偏置所在的神经元的索引。输入层是没有偏置参数b的。

数据分析咨询请扫描二维码

客服在线
立即咨询