第130章 步步紧逼的追赶者(下)(第 3/4 页)

    梯度消失和梯度爆炸问题也是一个极其难缠的问题。

    和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。

    该问题在长短期记忆神经网络出现后得到一定的缓解。

    但还是没有彻底解决梯度消失和梯度爆炸问题。

    除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。

    总之梯度消失和梯度爆炸问题但还没有被彻底解决。

    到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。

    这个问题已然严重制约机器学习向前发展。

    心念及此，埃克莱尔·基尔卡加不免有些感慨。

    也不知道这个问题什么时候会被什么人彻底解决？？？

    埃克莱尔·基尔卡加突然感觉他对lin hui算法这么较真也没什么必要啊？

    诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。

    不也没什么人着急吗？至少看起来没啥人着急？

    自己为什么要为要跟lin hui这么一个算法较劲呢？

    埃克莱尔·基尔卡加突然有些疲乏感。

    不过面对兴冲冲的同事，埃克莱尔·基尔卡加还不至于打退堂鼓。

    埃克莱尔·基尔卡加：“我现在还不能够肯定lin hui算法中用的就是长短期记忆神经网络。

    只能说lin hui算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。

    至于到底是不是还有待验证。

    说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。

    -->>(第 3/4 页)（本章未完，请点击下一页继续阅读）