sigmoid函数的特性及硬件实现方法–含matlab代码实现及讲解
- 1. 简介
- 2. sigmoid函数的特性介绍
- 2.1 sigmoid(x)与sigmoid(-x)的关系
- 2.2 sigmoid函数与tanh函数的关系
- 2.3 sigmoid函数的n阶导数
- 2.4 当x=n*ln2时的数值
- 2.5 其他关系式
- 3. 硬件实现方案
- 4. matlab代码实现及讲解
sigmoid是神经网络中常用的一种激活函数，在机械学习和很多降噪滤波算法中也常常会用到这个函数。sigmoid函数的表达式如下：
讯享网
本文主要会介绍一些sigmoid函数常用的特性。并且基于sigmoid函数特有的性质，我会给出一种硬件实现sigmoid函数的方法(不是多项式拟合法)，为了方便读者理解，我还用matlab模拟了sigmoid函数的实现。有兴趣的小伙伴可以直接到我下面的链接中下载代码。
sigmoid(x)与sigmoid(-x)的具有下面的关系:
推导过程如下：
tanh(x)为双曲余弦函数，其表达式如下
sigmoid(x)与tanh(x)函数的关系如下：
推导过程如下：
sigmoid函数求导有一个非常好的特殊性质，即导数的结果是可以完全表达成y的函数,与x无关。 假设
即只是y的函数。如果要求二阶导数可以直接对再次求导
根据上述方法，sigmoid函数的前n-1阶导数一定一个只含有y的函数，对y求导再乘以y(1-y)就是sigmoid函数的n阶导数。这里我没有推导出sigmoid函数的n阶导数的紧凑表达式。有兴趣的同学可以自己推导试一下，也欢迎大神留言给出正解。
另一种求解sigmoid函数n阶导数的方法，就是利用它与tanh(x)的关系。由于，因此sigmoid(x)的n阶导数其实就是的n阶导。tanh(x)的n阶导数有一些复杂，国内的高等数学教材中并没有提到，最后我还是在一篇NASA的技术笔记[1]中找到的，这里我直接给出tanh(x)函数的n阶导数结果：
上式中的可以通过下面的递推公式得到
因此根据tanh(x)的n阶导数可以得到sigmoid(x)的n阶导数，具体形式如下
这个特性其实非常有趣，当(n可以为任意非0的整数，可正可负)时，sigmoid函数可以变成的机械数是非常有规律的.
下面给一个几个例子
当时，
上式中代表2进制表示。
当时，
当时，
以此类推，当n大于0时，sigmoid函数的结果的机器数为n个1和0交替。
当时，
当时，
当时，
当n小于0时，sigmoid函数的结果的机器数为n个0和1交替。
根据上述性质，我们可以很容易通过硬件实现时的sigmoid函数值。
sigmoid函数有一个非常类似柯西中值定理的关系式：
公式的左边与柯西中值定理很像
sigmoid函数的硬件实现很多是通过多项式拟合法得到的。这里我给大家介绍一种基于泰勒级数展开的硬件实现方法。并且在下文中我会给出matlab版本的实现。
首先泰勒级数展开的方法如下：
需要指出的是泰勒级数展开其实只能适用于一个很小的区域范围。对于从负无穷到正无穷范围取值的sigmoid函数，我们很难仅通过零点展开对其进行近似。
如果可以找到在任意附近的一个，并且我们可以得到,,…,，那么就可以计算泰勒级数的展开结果。对于硬件实现其实可以认为是一个预先算好的系数。
回忆第2节中我们提到两个sigmoid的性质。当时，sigmoid函数的机械数是很容易计算的，其次如果sigmoid函数的任意n阶导数只是sigmoid函数值的函数，即我们可以很容易得到时，sigmoid函数的任意n阶导数。根据上述方法我们可以得到一种基于泰勒级数展开的硬件实现方案。其基本思想如下：
1. 输入任意x，找到x最近的。
2. 计算时的函数值，以及n阶导数，可以预先计算好输入。
3. 利用泰勒级数展开公式对sigmoid函数进行计算。
解压sigmoid_function.rar里面有四个.m文件。test.m是一个测试案例。sigmoid_hw.m是主要的实现函数。buildRefVal.m是用来计算时的结果。sigmoidTaylor.m是sigmoid的泰勒展系数的计算方法。下面我会依次介绍这几个文件。
1. test.m
其：
byteNum是当的最大机械数的长度，taylorNum是泰勒级数展开的阶数。计算中的golden直接通过matlab的函数直接实现。byteNum是当的最大机械数的长度，taylorNum是泰勒级数展开的阶数。计算中的golden直接通过matlab的函数直接实现。sigmoid_hw是实现泰勒级数展开发的核心函数。
2. sigmoid_hw.m
：
函数sigmoid_hw输入的是刚才提到的byteNum，taylorNum还有需要计算的点x。输出的结果是最后泰勒级数展开法计算得到的结果val以及泰勒级数的系数taylorSeries 。首先先找到里x最近的。这里。buildRefVal函数是根据得到的n计算，也就是上文提到的一串循环重复的0，1序列。得到之后，根据sigmoidTaylor函数计算n阶泰勒级数展开的系数。buildRefVal和sigmoidTaylor会在下面讲解。
3. buildRefVal.m
：
当时，sigmoid函数等于
buildRefVal函数则是计算的结果。如上文提到的是一串n个连续循环的01序列，当n>0时，先0后1；当n<0时先1后0。buildRefVal函数中输出的结果是以十进制形式表示的，其基本实现是设置一个counter，当counter-1整除n为奇数时输出0(或者1)，反之则输出1(或者0)。同事counter数有可以表示2进制数小数点后的位数，因此当结果为1时，在结果val中加上1/2^counter。
4. sigmoidTaylor
：
sigmoidTaylor函数用于求解n阶导数系数。这里为了提升函数的通用性我直接用符号运算中的求导来计算。事实上在硬件实现过程中这些函数，包括1/n！可以预先算好。求导的方法根据上文2.3节中提到的sigmoid函数n阶导数的求解方法即可。
[1] formulas for nth order derivatives of hyperbolic and trigonometric functions, Edwin G. Wintucky, 1971.
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/208365.html