电子大神的日记本,供应链专家的功夫茶盘,在这里记录、分享与共鸣。

登录以开始

感应器&BP2

函数 表示在多维空间的不规则曲面,函数E是权值W和输入向量X的函数,由于输入向量已经确定,所以E是W的函数,对E求W的偏导数,可以了解随着W的变化E变化的程度,梯度下降算法的目的就是求在坐标系W(n)中,函数的最小值。

用e表示残差信号,,d表示实际输出,y表示理论输出。

用v表示结点对单个输入的输出则,,f(.)为激活函数。

E对W的表达式为:

算法算子的四个部分分别为,-1,,。

所以。其中称之为局部梯度。激活函数是一种越阶函数。在上一篇文章中,激活函数选择了sgn函数,在这里激活函数选择sigmoid函数,之所以选择sigmoid是因为sigmoid函数有一个重要的特性。

基本步骤是:

1、  对w付初值。

2、  前向计算。

3、  计算,

4、  梯度

5、  计算I+1步权值 =

6、  I=I+1,返回2。

以上是单层单节点的感应器。

在这里也可以对v进行一次性的统一计算,这时。等所有的v都被求出来之后,再开始对w进行修正,这种方法被称为批处理的修正法,它的特点是修正量被平均化,速度快,但不能进行细微的修正。

博主
houyan
houyan's Blog
houyan
点击跳转