原文转自:http://blog.csdn.net/shuzfan/article/details/50723877 本次所讲的内容为Batch Normalization,简称BN,来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,是一篇很好的pape

       目前而言,深度学习是机器学习的发展前沿,一般针对大数据量的学习目标。其优化方法来源于基本的机器学习的优化方法,但也有所不同。        下面,小结一下,其基础是随机梯度下降的方法,但是为了学习的自适应性,做了如下改进:1. 因为每次训练的数据不一样,可能导致目标函数的梯度变化剧烈,为了解决这个问题,联合上次迭代的梯度和当前梯度,使梯度变化变缓(指数衰减);2. 在学习过程中,当迭

深度学习   SGD   Momentum   Adagrad   Adam  

原文转自:http://blog.csdn.net/striker_v/article/details/52884485 小编安装的是Matlab R2015b,使用的是默认安装目录,安装在目录/usr/local/MATLAB/R2015b/bin中。那么安装完成之后系统不会给Matlab添加系统路径,只有把终端切换到安装目录/usr/local/MATLAB/R2015b/bin下才能输入命令

source url:http://blog.csdn.net/zhuiqiuk/article/details/5308505811 1 依赖包 sudo apt-get install build-essential libgtk2.0-dev libjpeg-dev libtiff4-dev libjasper-dev libopenexr-dev cmake python-dev pyth

原文转自:http://blog.csdn.net/yf210yf/article/details/42421523 关于正则表达式的基本知识 正则表达式就是一个表达式(也是一串字符),它定义了某种字符串模式。利用正则表达式,可以对大段的文字进行复杂的查找、替换等。 matlab提供的正则表达式函数有三个: regexp——用于对字符串进行查找,大小写敏感; regexpi——用于对字符串进行查找

Matlab   regexp  

        在讨论函数的极值问题时,我们一般使用二次正定函数来推导。为什么只是二次呢?这里引用吴福朝老师的话说:“光滑函数或二阶可微函数,在极值点的局部范围内,在相差高阶无穷小的情况下,都可以表示为二次函数,极值是局部性质,这就理所当然地,用局部二次taylor展开来讨论函数的极值了。”说得很精妙!             最速梯度下降方法,其每次进行直线搜索的梯度方向,都与等值面相切,不是直

无约束优化   梯度下降   牛顿法   共轭梯度法  

       针对一个机器学习的优化问题,假设我们使用梯度下降的方法求解最优点。一般地,在初始点和可行下降方向确定后,我们要沿着可行下降方向确定步长(或学习率),这个时候,就要使用到一维搜索的方法。一维搜索的方法分为精确搜索的方法和非精确的搜索方法。非精确的搜索方法即确定一个沿可行下降方向上的步长,使目标函数下降即可;而精确的搜索方法求解出最优的步长,通过公式推导,由最优步长得到的新点的梯度与搜索

一维搜索   凸优化  

       在深度学习中,如果我们已经定义了网络,输入,以及输出,那么接下来就是损失函数,优化策略,以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法(以梯度下降为例),尤其是mini_batch的BP反传,目标是如何更新网络的参数:权重和偏置。        首先,我们来看网络中基本参数的一些定义。        使用梯度下降法,一般计算所有样本的损失函数的平均值,进而计

BP   mini batch  

原文转自:http://blog.csdn.net/u012162613/article/details/44261657 本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充) 正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfi

TensorFlow   过拟合   dropout   l2   l1  

       视觉问题引入深度神经网络后,针对端对端的训练和预测网络,可以看是特征的表达和任务的决策问题(分类,回归等)。当我们自己的训练数据量过小时,往往借助牛人已经预训练好的网络进行特征的提取,然后在后面加上自己特定任务的网络进行调优。目前,ILSVRC比赛(针对1000类的分类问题)所使用数据的训练集126万张图像,验证集5万张,测试集10万张(标注未公布),大家一般使用这个比赛的前几名的网

TensorFlow   VGG  
1 2 3 4 5 6 7 8 9