
神经网络入门之bp算法,梯度下降
本人作为一个想进行NLP研究的新手,看了很多网络上很好的神经网络的入门代码和数学原理。但是个人数学比较烂,很多东西想了很久才想明白,又害怕忘掉。为此写下这篇大白话入门篇作为自己学习的一个记录,也想为跟我同样想入门的同学们一个参考。希望有问题多多交流。
备注:很多内容都是本人自己想当然的结果,有错误的话,望大神们多多指教。
废话都说完了本文将从一个最简单一个BP网络开始讲起。
bp网络的bp(back propagation)中文就是反向传播的意思,为什么反向传播呢。是为了将配合梯度下降法进行迭代求出好的结果。这个会稍后讲解。
上图来自百度图片(懒得画了)
x为输入,w为权重,这个f(x)被称为激活函数(activation function)。如sigmoid,tanh等。他们的特点有一个就是可以容易的求出他们的导数(很关键)。激活函数的意义可以看这篇神经网络激励函数的作用是什么?有没有形象的解释?
可以看到输出的o = f(w1x1+w2x2+w3x3+w4x4) = f(∑WiXi)。
第一次运算的结果很明显就是上边的o。但是此时问题出来了,运算出来的o和实际的结果肯定式有误差的,该如何利用这个误差优化这个运算呢?也就是得到好的w呢?
此时就出现了反向传播这个过程。而配合反向传播的就是梯度下降法了。
现在很多同学可能会很晕,当时我第一次看的时候也很晕。
为了容易理解梯度下降法,建议去看Ng的斯坦福网课第二节,非常清楚。比我写的清楚多了。
梯度下降法是求(局部)最好的w。
设误差函数为:
y为实际结果,o为预测结果。
设激活函数f(x)为sigmoid函数,此时就可以很方便的求出其导数了(其他激活函数也是一样)
所以我们要求的就是J最小的时候wi的值。a是变化的速率。下式就可以比作从山顶走到山底的过程,而a表示行走的步长或者是速率。
此时可以发现每一项都是可以求出的,则经过多次运算,可以求出好的Wi
一般我们把前两项作为
此时我们可以发现
上边介绍完了梯度下降,现在再说反向传播理由。其实很简单了。它用的就是链式法则。我们第一步是前向传播,进行一系列运算得到了预测结果o。为了使用梯度下降法,我们需要得到,上边需要的delta,也就是说 J 这个误差函数。因为实际结果我们知道,而激活函数的导数我们也知道怎么运算。所以我们得到预测结果o时,delta就可以求出来。而delta属于输出层的运算,再乘以输入层的Xi就能得到∂
Wi,进一步更新Wi。
很明显可以看出整个一轮的运算是:
前向传播:
输入层—-w—》输出层(sigmoid)—-》预测结果
后向传播:
误差—》输出层(sigmoid)求导—-》输入层—–》更新Wi
换句话说,BP算法就是提供了给梯度下降法所需要的所有值。
由链式法则可知,如果网络层数为3层以上时也可以得到每层的delta。
用python代码来说:
layer_n_delta = layer_n+1_delta.dot((W_n_n+1).T)
(W_n_n+1) += (Xn).T.dot(layer_n+1_delta)
上边有很多符号有点问题,但是我觉得阅读应该没有什么障碍。因为第一次用这个marddown编辑器,很多东西不好弄。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA含金量分析 在数字经济与人工智能深度融合的时代,数据驱动决策已成为企业核心竞争力的关键要素。CDA(Certified Data Analys ...
2025-08-28CDA认证:数据时代的职业通行证 当海通证券的交易大厅里闪烁的屏幕实时跳动着市场数据,当苏州银行的数字金融部连夜部署新的风控 ...
2025-08-28PCU:游戏运营的 “实时晴雨表”—— 从数据监控到运营决策的落地指南 在游戏行业,DAU(日活跃用户)、MAU(月活跃用户)是衡量 ...
2025-08-28Excel 聚类分析:零代码实现数据分群,赋能中小团队业务决策 在数字化转型中,“数据分群” 是企业理解用户、优化运营的核心手段 ...
2025-08-28CDA 数据分析师:数字化时代数据思维的践行者与价值推动者 当数字经济成为全球经济增长的核心引擎,数据已从 “辅助性信息” 跃 ...
2025-08-28ALTER TABLE ADD 多个 INDEX:数据库批量索引优化的高效实践 在数据库运维与性能优化中,索引是提升查询效率的核心手段。当业务 ...
2025-08-27Power BI 去重函数:数据清洗与精准分析的核心工具 在企业数据分析流程中,数据质量直接决定分析结果的可靠性。Power BI 作为主 ...
2025-08-27CDA 数据分析师:数据探索与统计分析的实践与价值 在数字化浪潮席卷各行业的当下,数据已成为企业核心资产,而 CDA(Certif ...
2025-08-27t 检验与 Wilcoxon 检验:数据差异比较的两大统计利器 在数据分析中,“比较差异” 是核心需求之一 —— 如新药疗效是否优于旧药 ...
2025-08-26季节性分解外推法:解锁时间序列预测的规律密码 在商业决策、资源调度、政策制定等领域,准确的预测是规避风险、提升效率的关键 ...
2025-08-26CDA 数据分析师:数据治理驱动下的企业数据价值守护者 在数字经济时代,数据已成为企业核心战略资产,其价值的释放离不开高 ...
2025-08-26基于 SPSS 的 ROC 曲线平滑调整方法与实践指南 摘要 受试者工作特征曲线(ROC 曲线)是评估诊断模型或预测指标效能的核心工具, ...
2025-08-25神经网络隐藏层神经元个数的确定方法与实践 摘要 在神经网络模型设计中,隐藏层神经元个数的确定是影响模型性能、训练效率与泛 ...
2025-08-25CDA 数据分析师与数据思维:驱动企业管理升级的核心力量 在数字化浪潮席卷全球的当下,数据已成为企业继人力、物力、财力之后的 ...
2025-08-25CDA数据分析师与数据指标:基础概念与协同逻辑 一、CDA 数据分析师:数据驱动时代的核心角色 1.1 定义与行业价值 CDA(Certified ...
2025-08-22Power Query 移动加权平均计算 Power Query 移动加权平均设置全解析:从原理到实战 一、移动加权平均法的核心逻辑 移动加权平均 ...
2025-08-22描述性统计:CDA数据分析师的基础核心与实践应用 一、描述性统计的定位:CDA 认证的 “入门基石” 在 CDA(Certified Data Analy ...
2025-08-22基于 Python response.text 的科技新闻数据清洗去噪实践 在通过 Python requests 库的 response.text 获取 API 数据后,原始数据 ...
2025-08-21基于 Python response.text 的科技新闻综述 在 Python 网络爬虫与 API 调用场景中,response.text 是 requests 库发起请求后获取 ...
2025-08-21数据治理新浪潮:CDA 数据分析师的战略价值与驱动逻辑 一、数据治理的多维驱动引擎 在数字经济与人工智能深度融合的时代,数据治 ...
2025-08-21