admin 管理员组

文章数量: 888399

卷积、池化、激励函数的顺序

以下内容为个人的看法：

顺序：卷积---池化---激励函数

我们知道卷积肯定是在第一层，毕竟  σ（wx+b），wx+b 就是卷积操作，那为什么池化要在激励函数之前呢？

原因解析：假设激励函数是 relu 激励函数：

并假设我们卷积后的值为：3，-2，1，2 ；

对于 avg_poolling :

先 relu 再池化：当经过 relu 函数之后，得到的值为：relu(3) = 3，relu(-2) = 0，relu(1) = 1，relu(2) = 2，

则接下来经过 avg_pooling 结果为 ( 3+0+1+2 ) / 4 = 7/4

先池化在 relu： 经过 avg_pooling 结果为 (3-2+1+2)/4 = 4/4 = 1, 再经过 relu 函数，最终结果为 relu (1) = 1  

我们看到，其实这两种操作后，得到的结果是不一样的。但是如果我们先 relu 再池化，会将卷积后的第二个值 -2 给过滤掉，当我们紧接着做 avg_pooling 时，可以认为丢失了一些信息。所以我们选择先池化再接激励函数。       

对于 MAX_pooling，其实先池化再接激励函数，或者先激励函数再接池化是一样的。两个操作是可以交换的。

先 relu 再池化：当经过 relu 函数之后，得到的值为：3，0，1，2，再经过 MAX_poolling 结果为 MAX（3，0，1，2） = 3

先池化在 relu： 经过 MAX_pooling 结果为MAX (3，-2，1，2） = 3， 再经过 relu 函数，最终结果为 relu (3) = 3 

完！

本文标签： 卷积池化激励函数的顺序

版权声明：本文标题：卷积、池化、激励函数的顺序 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1686637259h20255.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。