TensorFlow中的引导反向传播

我想在TensorFlow中实现 Paper 中引入的“引导反向传播”技术,该技术在 recipe 中有所描述.

计算上意味着当我计算例如输入wrt的梯度时. NN的输出,我将不得不修改每个RELU单元计算的梯度.具体地说,这些单元上的反向传播信号必须在零上设置阈值,以使该技术起作用.换句话说,必须忽略RELU的负偏导数.

鉴于我只对测试示例应用这些梯度计算感兴趣,即我不想更新模型的参数 – 我该怎么做?

到目前为止,我尝试过两件事(不成功):

>使用tf.py_func包装我的简单numpy版本的RELU,然后有资格通过g.gradient_override_map上下文管理器重新定义它的渐变操作.
>收集BackProp的前向/后向值,并对源自Relus的那些值应用阈值.

我用这两种方法都失败了,因为它们需要一些目前我没有的TF内部知识.

任何人都可以建议任何其他路线,或草拟代码?

非常感谢.

tf.gradients具有可用于此目的的grad_ys参数.假设您的网络只有一个relu层,如下所示:

before_relu = f1(inputs, params)
after_relu = tf.nn.relu(before_relu)
loss = f2(after_relu, params, targets)

首先,计算导数直到after_relu.

Dafter_relu = tf.gradients(loss, after_relu)[0]

然后对您发送的渐变进行阈值处理.

Dafter_relu_thresholded = tf.select(Dafter_relu < 0.0, 0.0, Dafter_relu)

计算实际梯度w.r.t到params.

Dparams = tf.gradients(after_relu, params, grad_ys=Dafter_relu_thresholded)

您可以轻松地为具有许多relu​​层的网络扩展此相同方法.

相关文章
相关标签/搜索