循环神经网络与LSTM
七月算法 寒老师
2016年7月3日
4月机器学习算法班
1
主要内容
n 神经网络与循环神经网络
1.强大的功能
2.层级结构
3.多种RNN
n LSTM
1.长时依赖问题
2.“记忆细胞”与状态
n LSTM变体
1.GRU等
4月机器学习算法班
julyedu.com
循环神经网络与应用
o 模仿论文(连公式都格式很正确)
4月机器学习算法班
julyedu.com
循环神经网络与应用
o 模仿莎士比亚的作品
4月机器学习算法班
julyedu.com
循环神经网络与应用
o 模仿小四的作品
4月机器学习算法班
julyedu.com
循环神经网络与应用
o 看图说话
4月机器学习算法班
julyedu.com
神经网络到循环神经网络
o 我们知道神经网络结构如下
o 那循环神经网络和它是什么关系呢?
4月机器学习算法班
julyedu.com
循环神经网络
o 为什么有BP神经网络,CNN,还要RNN?
n 传统神经网络(包括CNN),输入和输出都是互相
独立的。
Ø 图像上的猫和狗是分隔开的,但有些任务,
后续的输出和之前的内容是相关的。
Ø “我是中国人,我的母语是___”
n RNN引入“记忆”的概念
Ø 循环2字来源于其每个元素都执行相同的任务。
Ø 但是输出依赖于 输入 和 “记忆”
4月机器学习算法班
julyedu.com