这一小节介绍随机梯度下降法(stochastic gradient descent)在神经网络中的使用,这里首先回顾了第三讲中介绍的线性神经网络的误差曲面(error surface),如下图所示。线性神经网络对应的误差曲面的纵截面如碗装,横截面则如一组同心的椭圆。梯度下降法的作用就是不断调整参数,使得模型的误差由“碗沿”降到“碗底”,参数由椭圆外部移动到椭圆的中心附近。当然,这里说的是只有两个参数的情况,参数更多的情况则更复杂。
下图给出了梯度方向对梯度改变大小的影响。
下图说明了学习步长(learning rate)对损失函数改变的影响。过大的学习速率会导致损失函数越来越大,模型距离最优解(或次优解)越来越远。
上面是模型在所有的训练数据上做完梯度下降法之后再对参数进行修正的,这叫做批量梯度下降法(batch gradient descent)。而随机梯度下降法则是每一次计算某一个训练数据上的梯度或者某一组训练数据(训练数据集的一个很小的子集)的梯度,然后更新参数。在每一个训练数据上计算梯度然后更新参数的称之为在线学习(online learning),在一小组训练数据上计算梯度然后更新参数的称之为小批量梯度下降法(mini-batch gradient descent),后者的效果可能比前者好一些。
下图是对使用mini-batch gradient descent的几点建议。
A bag of tricks for mini-batch gradient descent
这一小节介绍使用小批量梯度下降法(mini-batch gradient descent)的一些技巧。下图是初始化权值参数的技巧。
下图介绍的是shifting the inputs,其是指给输入的每一个分量加上一个常数值,使不得输入的平均值为0。(这里的意思应该是给输入的每一个分量加上一个常数,不同分量的常数可能不同,使得训练数据集的所有输入加在一起是个零向量。当然,这是我自己的理解,可能有出入。)下图给出了一个二维的线性神经网络,且给出了两组训练数据及其相应向量参数对应的直线。可以看到上面的那两条直线夹角很小,二者结合在一起就会得到一个很狭长的椭圆的error surface,这样的是我们不喜欢的error surface,不利于快速找到最优解或次优解。下面我们给输入的每一个分量都加上一个-100,然后得到的error surface就有一个比较接近圆的形状,这样的是我们想要的,便于快速的找到最优解或次优解。另外这里还提到了对隐匿层神经单元的调整,比较了双曲正切函数(hyperbolic tangent function)和逻辑函数(logistic function),但是这里没听明白具体怎么使用。
下图介绍的是scaling the inputs,该情况针对的是输入向量的分量取值相差悬殊时,通过给分量乘上一个系数来使得error surface更接近圆形,从而便于快速找到最优解或次优解。
一个更thorough的方法是去除输入向量不同分量之间的相关性(decorrelate the input components),相关的方法很多,这里给出了主成分分析法(PCA, Principal Components Analysis)。在Andrew Ng的课程中详细介绍过PCA,详细内容请阅读Machine Learning第八周笔记:K-means和降维
。对于线性模型,PCA实现了降维,从而将椭圆形的error surface转换成了圆形的。
下图列出了在多层神经网络中经常遇到的两个问题。一个是,当我们以很大的学习步长(learning rate)开始训练网络时,隐匿单元的权重往往会取到很大的正数或很小的负数,而此时这些权重对应的梯度又很小,给我们造成一种模型好像取得了一个局部最小值。另一个是,在分类网络中,我们经常使用平方误差或者交叉熵误差,一个好的策略是让每一个输出单元的输出情况和实际上的输出比例相当(实际上输出1的比例是多少,那么输出单元的输出情况一个就是这样)。神经网络很快就会发现这一策略,但需要很长的时间才能一点点的优化网络,看起来就好像模型处于一个局部最小值附近。
下图提示我们不要太快得减小学习步长(learning rate)。
下面给出四种加快mini-batch learning的方法,前三种我们会在下面一一介绍,最后一种本课程不涉及,感兴趣的话请自行搜索。这些方法具有很强的技巧性,需要我们在应用中不断摸索。
The momentum method
这一小节详细介绍动量方法(the momentum method),其应用很广泛,在full-batch learning和mini-batch learning中都可以使用。下面给出了动量方法的intuition和计算公式。
Using momentum speeds up gradient descent learning because
Directions of consistent change get amplified.
Directions of fluctuations get damped.
Allows using much larger learning rates.
Momentum accumulates consistent components of the gradient and attenuates the fluctuating ones. It also allows us to use bigger learning rate because the learning is now more stable.
标准的动量方法(由Nesterov在1983年提出)是在当前位置计算梯度,然后在累积的更新梯度方向上做一个大的跳跃。下面给出了一种更好地动量方法(由IIya Sutskever在2012年提出),其先在先前累积的梯度方向上做一个大的跳跃,再计算新的梯度并修正错误。
下面对两种方法做了比较,图中蓝色箭头是做两次标准动量方法得到的;而图中棕色箭头是改进动量方法先做的一次大跳跃得到的,红色箭头是修正,绿色箭头是进行一次改进动量方法得到的。可以看到,改进的比标准的要快很多。
Adaptive learning rates for each connection
这一小节介绍the separate, adaptive learning rate for each connection(针对网络中每个连接的自适应学习步长)。其思想是在神经网络的每一个连接处都应该有该连接自己的自适应学习步长,并在我们调整该连接对应的参数时调整自己的学习步长:如果权值参数修正梯度,那就应该减小步长;反之,应该增大步长。
下图给出了intuition。我的理解是在多层神经网络中,不同层的梯度通常相差悬殊,最开始的几层对应的梯度可能比最后几层权值对应的梯度小几个数量级。另外一方面,网络中每一单元又受其扇入单元的影响,为了修正一个同样的错误,各个单元的“学习步长”应该是不同的。
一个可行的方法是有一个全局的学习步长,然后对每一个权值参数有一个local gain,用gij表示。初始时gij均取值为1,后每次迭代根据权值梯度的变化情况作出调整,具体调整公式如下图所示。
下图列出了几种提高自适应学习步长性能的几个技巧。
Rmsprop: Divide the gradient by a running average of its recent magnitude
这一小节介绍rmsprop算法。在网上找到一个python模块——climin,一个做优化的机器学习包,里面包含了很多优化算法。
首先介绍rprop算法。前面我们说过,不同权值参数的梯度的数量级可能相差很大,因此很难找到一个全局的学习步长。这时,我们想到了在full-batch learning中仅靠权值梯度的符号来选择学习步长。rprop算法正是采用这样的思想:对于网络中的每一个权值参数,当其对应的前面两个梯度符号相同时,则增大该权值参数对应的学习步长;反之,则减小对应的学习步长。并且,rprop算法将每一个权值对应的学习步长限制在百万分之一到50之间。
下图解释了prop算法为什么不能应用于mini-batch learning中。因为prop算法违背了随机梯度下降的原理:假设有一个在线学习系统,初始的学习步长较小,在其上应用prop算法。这里有十组训练数据,前九组都使得梯度符号与之前的梯度符号相同,那么学习步长就会增加九次;而第十次得来的梯度符号与之前的相反,那么学习步长就会减小一次。这样一个过程下来,学习步长会增长很多,如果系统的训练数据集非常之大,那学习步长可能频繁的来回波动,这样肯定是不利于学习的。
设想是否存在这样一种算法,其既能保持rprop算法的健壮性,又能应用在mini-batch learning上呢,rmsprop算法应运而生。rmsprop算法不再孤立地更新学习步长,而是联系之前的每一次梯度变化情况,具体如下。rmsprop算法给每一个权值一个变量MeanSquare(w,t)用来记录第t次更新步长时前t次的梯度平方的平均值,具体计算方法如下图所示(注意,其中的系数0.9和0.1只是个例子,具体取值还要看具体情况)。然后再用第t次的梯度除上MeanSquare(w,t)??????????????√得到学习步长的更新比例,根据此比例去得到新的学习步长。按我的理解,如果当前得到的梯度为负,那学习步长就会减小一点点;如果当前得到的梯度为正,那学习步长就会增大一点点。这里的MeanSquare(w,t)??????????????√是名称中RMS的由来。数据分析师培训
下图列出了关于rmsprop算法的一些研究,想了解详情的话请自行搜索。
最后一张图是对神经网络学习方法的一个小总结。
这几个算法都比较烧脑啊,全是凭大脑推理思考,回头要好好做实验。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14