代价函数本质来说就是用来表示拟合函数的理想输出与实际输出之间的差距的一种函数。也就是说差距越大,算法学习的代价也就越大,所以梯度下降法的本质也就是不断地优化代价函数。梯度下降算法的核心在于梯度两个字,而求梯度的意思实际上就是对代价函数求偏导,然后用我们求得的导数去更新我们的拟合参数。