在深度学习中,如果我们已经定义了网络,输入,以及输出,那么接下来就是损失函数,优化策略,以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法(以梯度下降为例),尤其是mini_batch的BP反传,目标是如何更新网络的参数:权重和偏置。        首先,我们来看网络中基本参数的一些定义。        使用梯度下降法,一般计算所有样本的损失函数的平均值,进而计

BP   mini batch