在深度学习中,如果我们已经定义了网络,输入,以及输出,那么接下来就是损失函数,优化策略,以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法(以梯度下降为例),尤其是mini_batch的BP反传,目标是如何更新网络的参数:权重和偏置。        首先,我们来看网络中基本参数的一些定义。        使用梯度下降法,一般计算所有样本的损失函数的平均值,进而计

BP   mini batch  

原文转自:http://blog.csdn.net/u012162613/article/details/44261657 本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习/深度学习算法中常用的正则化方法。(本文会不断补充) 正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfi

TensorFlow   过拟合   dropout   l2   l1  

       视觉问题引入深度神经网络后,针对端对端的训练和预测网络,可以看是特征的表达和任务的决策问题(分类,回归等)。当我们自己的训练数据量过小时,往往借助牛人已经预训练好的网络进行特征的提取,然后在后面加上自己特定任务的网络进行调优。目前,ILSVRC比赛(针对1000类的分类问题)所使用数据的训练集126万张图像,验证集5万张,测试集10万张(标注未公布),大家一般使用这个比赛的前几名的网

TensorFlow   VGG  

import tensorflow as tf a = tf.constant(20) b = tf.constant(10) result1 = tf.cond(a > b, lambda: a, lambda: b) result2 = tf.cond(a < b, lambda: a, lambda: b) # Initialize all the variables (includi

TensorFlow   条件语句  

今天作了一个paper reading,感觉论文不错,马克一下~ CVPR 2016 Best Paper Honorable Mention "Sublabel-Accurate Relaxation of Nonconvex Energies" 研究视觉问题的同学都知道,视觉问题很多都是多标签的问题,在进行优化的时候,我们都可以把他们转化为能量函数的形式,由数据项和平滑项组成。这些能量函数可以

CVPR best paper   Sublabel-Accurate Re  

最近,处理两个矩阵的点除,得到结果后,再作其他的计算,发现有些内置的函数不work;查看得到的数据,发现有很多nan和inf,导致python的基本函数运行不了,这是因为在除的过程中分母出现0的缘故。为了将结果能够被python其他函数处理,尤其numpy库,需要将nan,inf转为python所能识别的类型。这里将nan,inf替换0作为例子。 1. 代码 import numpy as np

python   nan   inf   zero  

1、修改同一目录下所有图片的尺寸(宽x高) 长宽比不变&长宽比改变 find ./ -name '*.jpg' -exec convert -resize 600x480 {} {} \; find ./ -name '*.jpg' -exec convert -resize 600x480 !{} {} \; 未完待续。。。

linux  

Python中存储系列数据,比较常见的数据类型有list,除此之外,还有tuple数据类型。相比与list,tuple中的元素不可修改,在映射中可以当键使用。tuple元组的item只能通过index访问,collections模块的namedtuple子类不仅可以使用item的index访问item,还可以通过item的name进行访问。可以将namedtuple理解为c中的struct结构,其

collections   namedtuple  

原文转自:http://blog.csdn.net/imzoer/article/details/8667176 lambda只是一个表达式,函数体比def简单很多。 lambda的主体是一个表达式,而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。 lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。 如下例子: 定义了一个lambda表达式,求三个数的和

python  

Why Doesn't Python Have Switch/Case? Tuesday, June 09, 2015 (permalink) Unlike every other programming language I've used before, Python does not have a switch or case statement. To get around this fa

python  
1 2 3 4 5 6 7 8 9