KAIYU XUE
本PPT架构
1、WHY
2、WHAT
3、HOW(模式图)
4、HOW(公式推导)
1、对sparse autoencoder的
回顾总结: 通过相似的输
入和输出,用cost函数求出
中间的参数(更新到最小
的cost函数的输出就是中间
的参数),而更新时需要
用梯度下降法,梯度下降
法需要偏导,偏导需要用
BP算法。
2、经典sparse autoencoder的输出
应该是和输入数据尺寸大小一样的,
且很相近。
3、然后,拿掉那个后面的输出层后,隐含
层的值就是我们所需要的特征值了。
4、因为模型的输出是x,可以看出,特征值
输出的也是x的特征,其实这是一种无监督
的学习unsupervised learning 的一种方式,
叫self-taught learning
5、在这种无监督学习中,可以看
出,每个特征值(参数)都与输入
相连。是一种全部连接网络
如果我们的图像很大,比如说为
100*100,隐含层有要学习100个
特征,则这时候把输入层的所有
点都与隐含层节点连接,则需要
学习10^6个参数,这样的话在使
用BP算法时速度就明显慢了很多。
运用BP算法后求cost函数的参数:
为了处理大图像,所以后面就发展到了
局部连接网络,也就是说每个隐含层的
节点只与一部分连续的输入点连接。
Convolutional Neural Networks are a special kind
of multi-layer neural networks. Like almost every
other neural networks they are trained with a
version of the back-propagation algorithm.
Where they differ is in the architecture.
因此:CNN一个厉害的地方就在
于通过感受野和权值共享减少了
神经网络需要训练的参数的个数。
一些Deeplearning方法: