八三看书

手机浏览器扫描二维码访问

第251章（第1页）

但是还真没往长短期记忆神经网络那个方向想……”

埃克莱尔·基尔卡加能理解哈雷·普莱斯为什么没在第一时间想到长短期记忆神经网络。

近几年长短期记忆神经网络主要都是用于语音识别方面的原因。

现在这个阶段一般的研究学者还真不会想到会将长短期记忆神经网络用在文本摘要这方面。

不过理论上讲将长短期记忆神经网络神经网路用于文本识别方面完全是可行的。

但具体如何将长短期记忆神经网络应用于文本识别，暂时埃克莱尔·基尔卡加也不太清楚。

这个还需要一段时间的研究来探索。

哈雷·普莱斯没有想到长短期记忆神经网络神经网路应该还有另一方面的原因。

因为长短期记忆神经网络并不是什么新鲜玩意。

Hochreiter和Schmidhuber于1997年提出

了长短期记忆神经网络。

距今天已经将近二十年了，可以说是很久远了。

虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。

但实际上当初提出长短期记忆神经网络并不是为了文本处理。

当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。

在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。

有时会遇到梯度消失和梯度爆炸的问题。

这两种情况都不是研究人员希望看到的情况。

出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。

个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。

总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。

梯度消失和梯度爆炸问题也是一个极其难缠的问题。

和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。

该问题在长短期记忆神经网络出现后得到一定的缓解。

但还是没有彻底解决梯度消失和梯度爆炸问题。

除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。