摘要：如果你是一名单身狗，不要伤心，或许是因为你的记忆太好了。有时，遗忘是件好事，它让你对琐碎之事不再斤斤计较。然而每当自己记不住单词而“问候亲人”时，也确实气死个人。于是你懂得了如何控制好什么信息该保留，什么信息该遗忘。而长短期记忆网络（LSTM）就是这么干的。来看看是怎么回事吧？
【版权声明】转载请注明出处和作者署名。否则作者和云栖社区有权追究责任。
系列文章：
一入侯门“深”似海，深度学习深几许（深度学习入门系列之一）
人工“碳”索意犹尽，智能“硅”来未可知（深度学习入门系列之二）
神经网络不胜语， M-P模型似可寻（深度学习入门系列之三）
“机器学习”三重门，“中庸之道”趋若人（深度学习入门系列之四）
深度学习入门系列，用白话文的方式让你看得懂学的快（第五章）
损失函数减肥用，神经网络调权重（深度学习入门系列之六）
山重水复疑无路，最快下降问梯度（深度学习入门系列之七）
深度学习入门系列，用白话文的方式让你看得懂学的快（第八章）
全面连接困何处，卷积网络见解深（深度学习入门系列之九）
卷地风来忽吹散，积得飘零美如画（深度学习入门系列之十）
局部连接来减参，权值共享肩并肩（深度学习入门系列之十一）
激活引入非线性，池化预防过拟合（深度学习入门系列之十二）
14.1 遗忘是件好事还是坏事？
如果我问你，遗忘，是件好事，还是坏事？
或许你会说，当然是件坏事啊，我可羡慕记忆力好的人了。
可我要告诉你，如果你到现在还记得，两岁时，隔壁家的小女孩“横刀夺爱”，抢了你的棒棒糖，估计你现在还可能单身。如此“记”仇的人，不孤独也难啊？
的确，有时候，遗忘是好事，它会让大脑清理无用“内存”，让你能得以重新起航。其实从脑科学的角度来看，记忆是一种生物运算，它需要消耗能量的。从进化论的角度来看，如果大脑一直长时间运算着用不着的“子程序”，是极不经济的。在物资并不丰裕的远古时代，这样的生物，会被“物竞天择”掉的！因此，遗忘，在某种程度上，是生物的一种自我保护机制。
那遗忘，是件好事咯？或许你会问。
如果是好事，为什么当年背几个英文单词，都要绞尽脑汁，家人还不得不都无辜地“光荣”一大半：Bus(爸死)、Yes(爷死)、Nice（奶死），都Cheese（气死）。
嗯，是的。过犹都不及。我们既需要记忆，也需要遗忘。我们既需要短期记忆(short-term memory)，必要时，还要将这些短记忆拉长（long short-term memory），留存下来，以备后用。
聪慧如你，一定猜到了。我要引入本章的主题：长短期记忆(Long Short-Term Memory，简称LSTM)。这个名字有点怪，难道是又长又短的记忆？当然不是，请注意“Short-term”中间有一个短横线“-”连接。这表明，在本质上，LSTM还是短期记忆(short-term memory)，只是它历经的时序较长而已。
14.2 施密德胡伯是何人？
“LSTM”，名称很拗口啊，为了记忆，我把它记做“老（L）师（S）太（T）忙（M）”。如果于尔根•施密德胡伯（Jürgen Schmidhuber）知道我这么玩笑地称呼他的“宝贝”，会不会怼我啊？
施密德胡伯（名字太长，以下简称“胡伯”）又是何许人也？他可来头不小。我们常说深度学习有三大巨头，约书亚•本吉奥（Yoshua Bengio）、扬•勒丘恩（Yann LeCun，又译作“严乐春”）和杰弗里•辛顿（Geoffrey Hinton）。如果把“三大巨头”扩展为“四大天王”的话，这位胡伯应可入围。论开创性贡献，他也算得上深度学习的先驱人物之一。其中他最杰出的贡献，莫过于他于1997年和Hochreiter合作提出的LSTM[1]。因此，胡伯也被尊称为“LSTM之父”。
在前面，之所以我会问胡伯会不会怼我？并不是说他真的会怼一个无名小辈。而是想说，这位老伯本领大，脾气也大啊。
有例为证。2015年，前面提及的深度学习三巨头在著名学术期刊《Nature》上发表了一篇《Deep Learning》综述[2]，随后胡伯就站出来指责，你们没有充分肯定自己工作的价值。而综述第一作者严乐春亦不甘示弱，随后霸气发文反驳，你丫就值这么多。
有道是，有人的地方，就有江湖。有江湖的地方，就有纷争。
还有一例，值得说道一下。近几年，由伊恩•古德费勒（Ian Goodfellow）等人提出“生成对抗网络”（Generative Adversarial Networks，GANs），在人工智能领域非常火爆，可称为非监督深度学习的典范之作。这位“好小伙（Goodfellow）”又是谁呢？他就是深度学习三巨头之一的本吉奥（Bengio）的博士生，现就职于谷歌的人工智能团队。严乐春对GAN交口称赞，称其为“20年来机器学习领域最酷的想法”。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/34762.html