2020-06-03
阅读量:
634
机器学习中学习率如何调整？
学习率的调整
1、离散下降(discrete staircase)
对于深度学习来说，每 t 轮学习，学习率减半。对于监督学习来说，初始设置一个较大的学习率，然后随着迭代次数的增加，减小学习率。
2、指数减缓(exponential decay)
对于深度学习来说，学习率按训练轮数增长指数差值递减。例如：
又或者公式为：
其中epoch_num为当前epoch的迭代轮数。不过第二种方法会引入另一个超参 k 。
3、分数减缓(1/t decay)
对于深度学习来说，学习率按照公式
变化， decay_rate控制减缓幅度。
33.7723
6
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-06-20
0条评论
CDA持证人阿涛哥
2021-03-31
0条评论
CDA持证人阿涛哥
2021-03-30
0条评论