admin 管理员组文章数量: 888398
LSTM 两个激励函数区别sigmoid 和tanh
欢迎关注本人：
推荐系统公众号：Tiany_RecoSystem
知乎主页：
- sigmoid 用在了各种gate上，产生0~1之间的值，这个一般只有sigmoid最直接了。
- tanh 用在了状态和输出上，是对数据的处理，这个用其他激活函数或许也可以。
1. sigmoid激活函数
sigmoid将一个实数输入映射到[0,1]范围内，如下图（左）所示。使用sigmoid作为激活函数存在以下几个问题：
- 梯度饱和。当函数激活值接近于0或者1时，函数的梯度接近于0。在反向传播计算梯度过程中：δ(l)=(W(l))Tδ(l+1)∗f′(z(L))，每层残差接近于0，计算出的梯度也不可避免地接近于0。这样在参数微调过程中，会引起参数弥散问题，传到前几层的梯度已经非常靠近0了，参数几乎不会再更新。
- 函数输出不是以0为中心的。我们更偏向于当激活函数的输入是0时，输出也是0的函数。
因为上面两个问题的存在，导致参数收敛速度很慢，严重影响了训练的效率。因此在设计神经网络时，很少采用sigmoid激活函数。
2. tanh激活函数
tanh函数将一个实数输入映射到[-1,1]范围内，如上图（右）所示。当输入为0时，tanh函数输出为0，符合我们对激活函数的要求。然而，tanh函数也存在梯度饱和问题，导致训练效率低下。
3.Relu激活函数
Relu激活函数（The Rectified Linear Unit）表达式为：f(x)=max(0,x)。如下图（左）所示：
相比sigmoid和tanh函数，Relu激活函数的优点在于：
- 梯度不饱和。梯度计算公式为：1{x>0}。因此在反向传播过程中，减轻了梯度弥散的问题，神经网络前几层的参数也可以很快的更新。
- 计算速度快。正向传播过程中，sigmoid和tanh函数计算激活值时需要计算指数，而Relu函数仅需要设置阈值。如果x<0,f(x)=0，如果x>0,f(x)=x。加快了正向传播的计算速度。
因此，Relu激活函数可以极大地加快收敛速度，相比tanh函数，收敛速度可以加快6倍（如上图（右）所示）。
本文标签： LSTM两个激励函数区别sigmoid和tanh
版权声明：本文标题：LSTM两个激励函数区别sigmoid和tanh 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1686637268h20257.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论