对反向传播算法（Back-Propagation）的推导与一点理解
本文在推导过程中忽略了偏置的存在，这样做是为了更简单明晰的阐述BP算法的操作过程，并不是说偏置不重要，希望不会引起误会。
我们知道，神经网络大多采取正向传播预测，反向传播误差的结构。反向传播算法是运用在神经网络中进行网络权重等最优值计算算法，其核心就是梯度下降 + 链式法则求偏导，下面就对反向传播算法进行一下简单的推导：
在下面的推导过程中，
表示连接前一层神经元
和后一层神经元 
的权值。
对于输出层神经元
，它的输入
按下式进行计算(忽略偏置):
可以看到它的输入等于前一层所有神经元的输出
的输出按下式计算:
对于有监督训练, 期望输出即样本类标签d和实际输出y都是已知的, 可以定义误差或者loss function为:
前期的准备工作已经完成了，下面开始正式的推导过程：
这样，我们就可以根据最后求出的误差来对权重进行更新，这种误差反向传递的方式就是反向传播算法的精髓所在。
处理完输出层神经元，我们再来看一下输出层之前的一层神经元
的权值更新，我们定义
表示连接前一层神经元
和后一层神经元
的权值。
相信大家已经看出误差反向传导的内涵了，每一层所产生的误差会逐渐向之前的层次传播，而各层的权重根据梯度下降算法不断地优化。总之，反向传播算法的核心就是梯度下降 + 链式法则求偏导，虽然看起来很繁琐并且计算复杂度有点高，但是实际上BP算法的精确性和易用性是很难被其他算法替代的，这也是现在比如CNN等很火的深度学习算法普遍采用BP算法的原因。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在MySQL数据库优化中，分区表是处理海量数据的核心手段——通过将大表按分区键（如时间、地域、ID范围）分割为多个独立的小分区 ...
2026-03-19在商业智能与数据可视化领域，同比、环比增长率是分析数据变化趋势的核心指标——同比（YoY）聚焦“长期趋势”，通过当前周期与 ...
2026-03-19在数据分析与建模领域，流传着一句行业共识：“数据决定上限，特征决定下限”。对CDA（Certified Data Analyst）数据分析师而言 ...
2026-03-19机器学习算法工程的核心价值，在于将理论算法转化为可落地、可复用、高可靠的工程化解决方案，解决实际业务中的痛点问题。不同于 ...
2026-03-18在动态系统状态估计与目标跟踪领域，高精度、高鲁棒性的状态感知是机器人导航、自动驾驶、工业控制、目标检测等场景的核心需求。 ...
2026-03-18“垃圾数据进，垃圾结果出”，这是数据分析领域的黄金法则，更是CDA（Certified Data Analyst）数据分析师日常工作中时刻恪守的 ...
2026-03-18在机器学习建模中，决策树模型因其结构直观、易于理解、无需复杂数据预处理等优势，成为分类与回归任务的首选工具之一。而变量重 ...
2026-03-17在数据分析中，卡方检验是一类基于卡方分布的假设检验方法，核心用于分析分类变量之间的关联关系或实际观测分布与理论期望分布的 ...
2026-03-17在数字化转型的浪潮中，企业积累的数据日益庞大且分散——用户数据散落在注册系统、APP日志、客服记录中，订单数据分散在交易平 ...
2026-03-17在数字化时代，数据分析已成为企业决策、业务优化、增长突破的核心支撑，从数据仓库搭建（如维度表与事实表的设计）、数据采集清 ...
2026-03-16在数据仓库建设、数据分析（尤其是用户行为分析、业务指标分析）的实践中，维度表与事实表是两大核心组件，二者相互依存、缺一不 ...
2026-03-16数据是CDA（Certified Data Analyst）数据分析师开展一切工作的核心载体，而数据读取作为数据生命周期的关键环节，是连接原始数 ...
2026-03-16在用户行为分析实践中，很多从业者会陷入一个核心误区：过度关注“当前数据的分析结果”，却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代，用户的每一次点击、浏览、停留、转化，都在传递着真实的需求信号。用户行为分析，本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业，量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA（Certi ...
2026-03-13在机器学习建模体系中，随机森林作为集成学习的经典算法，凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势，成为分类、 ...
2026-03-12在机器学习建模过程中，“哪些特征对预测结果影响最大？”“如何筛选核心特征、剔除冗余信息？”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天，企业管理已从“经验驱动”全面转向“数据驱动”，数据思维成为企业高质量发展的核心竞争力，而CDA ...
2026-03-12在数字经济飞速发展的今天，数据分析已从“辅助工具”升级为“核心竞争力”，渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体，是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
