sigmoid激活函数的导数

科技一点鑫得 2024-07-03 15:54:59

sigmoid函数应该是接触深度学习第一个遇到的激活函数,它可以将输出值映射到[0,1]区间的某个值,常常作为预测的概率值。深度学习网络通过反向传播算法来实现权重、偏置参数调整来达到自我学习的目的,在反向传播过程中,需要利用链式求导法则,其中就需要对激活函数求导,这里记录sigmoid函数的求导过程,作为重温数学知识的开始。

sigmoid函数整体来看是一个商的形式,可以利用商的微分法则公式带入求解,推导过程中还会用到和的微分法则,自然指数函数和它的导数恒等,这些规则统一列举如下商的微分法则

和的微分法则

自然指数函数和它的导数恒等

sigmoid函数导数的完整推导过程如下,其中exp(-x)指数函数等价于1/exp(x),可以用商的微分法则求解得出exp(-x)=-exp(-x),这里exp表示自然指数函数。

参考文献

[1]. 《什么是数学》[美]R.柯朗 H.罗宾 著,Page423、Page438;

0 阅读:3

科技一点鑫得

简介:感谢大家的关注