logo资料库

CNN学习入门-薛开宇.pptx

第1页 / 共71页
第2页 / 共71页
第3页 / 共71页
第4页 / 共71页
第5页 / 共71页
第6页 / 共71页
第7页 / 共71页
第8页 / 共71页
资料共71页,剩余部分请下载后查看
KAIYU XUE
本PPT架构 1、WHY 2、WHAT 3、HOW(模式图) 4、HOW(公式推导)
1、对sparse autoencoder的 回顾总结: 通过相似的输 入和输出,用cost函数求出 中间的参数(更新到最小 的cost函数的输出就是中间 的参数),而更新时需要 用梯度下降法,梯度下降 法需要偏导,偏导需要用 BP算法。 2、经典sparse autoencoder的输出 应该是和输入数据尺寸大小一样的, 且很相近。
3、然后,拿掉那个后面的输出层后,隐含 层的值就是我们所需要的特征值了。 4、因为模型的输出是x,可以看出,特征值 输出的也是x的特征,其实这是一种无监督 的学习unsupervised learning 的一种方式, 叫self-taught learning 5、在这种无监督学习中,可以看 出,每个特征值(参数)都与输入 相连。是一种全部连接网络
如果我们的图像很大,比如说为 100*100,隐含层有要学习100个 特征,则这时候把输入层的所有 点都与隐含层节点连接,则需要 学习10^6个参数,这样的话在使 用BP算法时速度就明显慢了很多。 运用BP算法后求cost函数的参数:
为了处理大图像,所以后面就发展到了 局部连接网络,也就是说每个隐含层的 节点只与一部分连续的输入点连接。 Convolutional Neural Networks are a special kind of multi-layer neural networks. Like almost every other neural networks they are trained with a version of the back-propagation algorithm. Where they differ is in the architecture.
因此:CNN一个厉害的地方就在 于通过感受野和权值共享减少了 神经网络需要训练的参数的个数。 一些Deeplearning方法:
分享到:
收藏