DBN深度置信网.pdf-资料库

wangfenghui132-9257255-4744302543447841428.pdf-第1页.png

第1页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第2页.png

第2页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第3页.png

第3页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第4页.png

第4页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第5页.png

第5页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第6页.png

第6页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第7页.png

第7页 / 共67页

wangfenghui132-9257255-4744302543447841428.pdf-第8页.png

第8页 / 共67页

单位代码：11414 学号：2011011223 本科生毕业论文题目深度信念网络应用研究学院名称地球物理与信息工程学院专业名称计算机科学与技术学生姓名王锋辉指导教师李洪奇教授起止时间：2014 年 12 月 18 日至 2015 年 06 月 20 日

摘要摘要深度学习的概念在 2006 年由多伦多大学 Geoffrey Hinton 教授提出。深度学习在机器视觉、自然语言处理、模式识别等多方面取得重要成果。研究深度学习的学者也越来越多，引入深度学习概念的卷积神经网络 CNN 和深度置信网 DBN 逐渐成为解决实际问题的有力模型。CNN 和 DBN 都在模式识别方面做出了重大突破。本文对深度置信网 DBN 做了详细研究，从能量函数不断下降直至最低点的离散型 Hopfield 神经网络到引入统计力学的玻尔兹曼机 BM，又到受限玻尔兹曼机 RBM，再到无监督学习可以进行特征提取的自编码，最后是深度置信网 DBN， DBN 每一步的过度都有相应的假设和推理证明。在文献中详细分析了应用于玻尔兹曼机 BM 中可以跳出局部最优的模拟退火算法，还有在 RBM 中权值、阈值求取的对比散度算法。梯度下降算法在诸多问题求解过程中都有用到，由于其普遍性和简单性，在文献中没有繁琐介绍。本文还对过拟合现象做出了分析，并详细说明了在 DBN 中如何防止过拟合现象。最后应用 DBN 对手写数字进行模式识别，并比照 DBN、CNN、NN 对手写数字模式识别表现的好坏，并分析其中原因。关键词：离散型 Hopfield、BM、RBM、DBN、模拟退火算法 - Ⅰ -

ABSTRACT Application and research of the Deep Believe Net ABSTRACT The concept of deep learning was raised by Professor Hinton Geoffrey of the University of Toronto in 2006.Deep learning got the important results in machine vision, natural language processing, pattern recognition and other aspects. More and more scholars begin to study deep learning.CNN and DBN, which is introduced into the deep learning concept, are becoming a powerful model for solving the practical problems. CNN and DBN have made a major breakthrough in pattern recognition. This paper makes a detailed study of the DBN. The energy function is constantly dropping until the lowest point of the discrete Hopfield neural network 、 The introduction of statistical mechanics Boltzmann machine、Restricted Boltzmann machine、Self coding、DBN. Each step of the excessive has the corresponding assumptions and reasoning to prove. In the literature a detailed analysis of the simulated annealing algorithm is applied to the Boltzmann machine BM can jump out of local optimum, and comparison of the divergence algorithm in RBM weight, the threshold. Gradient descent algorithm is useful in many problems solving process. Because of its universality and simplicity, there is no complicated introduction in the literature. In this paper, the phenomenon of the fitting is analyzed, and how to prevent the fitting in DBN is explained in detail. Finally, DBN is applied to pattern recognition of handwritten digits, and compared with DBN, CNN and NN, the performance of handwriting digital pattern recognition is good, and the reason of it is analyzed. Key Words： Discrete Hopfield； BM； RBM； DBN； Simulated annealing algorithm - Ⅱ -

目录目录摘要 ......................................................................................................................... I ABSTRACT .................................................................................................................. II 目录 ...................................................................................................................... III 第 1 章绪论 .................................................................................................................. 1 1.1 研究背景 .......................................................................................................... 1 1.2 研究意义 .......................................................................................................... 1 1.3 研究思路和主要工作 ...................................................................................... 1 第 2 章 BM 玻尔兹曼机 ............................................................................................... 3 2.1 从离散型 Hopfield 神经网络到模拟退火算法 .............................................. 3 2.2 BM 玻尔兹曼机结构 ....................................................................................... 4 2.3 BM 节点概率计算 ........................................................................................... 6 2.4 BM 学习规则 ................................................................................................... 9 第 3 章受限玻尔兹曼机 RBM .................................................................................. 11 3.1 RBM 结构 ...................................................................................................... 11 3.2 RBM 节点概率计算 ...................................................................................... 11 3.3 RBM 学习规则 .............................................................................................. 12 第 4 章自编码 ............................................................................................................ 13 4.1 自编码与 RBM .............................................................................................. 13 4.2 RBM 在自编码中损失函数定义 .................................................................. 13 4.3 对比散度算法 ................................................................................................ 15 4.4 稀疏自编码 .................................................................................................... 15 4.5 自编码小结 .................................................................................................... 17 第 5 章过拟合 ............................................................................................................ 20 5.1 过拟合概述 .................................................................................................... 20 5.2 防止过拟合 .................................................................................................... 22 5.3 NN 中防止过拟合 ......................................................................................... 23 第 6 章深度置信网 DBN ........................................................................................... 25 6.1 DBN 结构 ....................................................................................................... 25 6.2 DBN 训练方法 ............................................................................................... 25 - Ⅲ -

目录 6.3 DBN 识别手写数字 ....................................................................................... 26 第 7 章结论 ................................................................................................................ 33 参考文献 ...................................................................................................................... 34 致谢 .......................................................................................................................... 35 文献翻译 ......................................................................................................................... I - Ⅳ -

中国石油大学（北京）学士学位论文第1章绪论 1.1 研究背景随着人工智能的不断发展，在现实生活中人们用到的越来越多。从人机对弈，到无人驾驶，从图像识别到同声翻译，无一不取得了重大突破。早在五十年代就兴起的人工神经网络经历了高潮和低谷，并一直存在到现在，最终成为人工智能大家庭中最为璀璨的一朵奇葩。人工神经网络曾近一度因为中间层权值的调整不便而陷入了低谷，后来在加拿大多伦多大学 Geoffrey Hinton 教授提出 BP 算法后再次活跃起来。在九十年代支持向量机 SVM 飞速发展，并在机器学习中表现出了良好的效果，人工神经网络逐渐陷入低谷。于 2006 年，Geoffrey Hinton 教授再次提出深度学习的概念，并把神经网络引入到一个完全新的领域——深度学习。神经网络再次成为焦点，2012 微软在天津展示机器同声翻译，并取得了令人瞩目的成果，大大鼓舞了深度学习。深度学习已经成为人工智能未来新的发展方向。 1.2 研究意义 DBN 属于新的神经网络，由于其自编码过程可以提取数据的特征，因而广泛的用于模式识别。自编码过程中预训练对权值的初始化大大减少了梯度下降算法的训练次数，对于更多层次网络权值的求取速度和精度会更快更准确。DBN 已经开始试用于一些图像处理和自然语言处理。相比普通神经网络，效果更好。在未来机器学习领域，深度学习的使用会越来越广泛。相信深度学习在未来必定可以引领世界走向更加智能的时代。 1.3 研究思路和主要工作随着人工智能的不断发展，在现实生活中人们用到的越来越多，本文中详细论述了 DBN 的发展过程，从离散型 Hopfield 到 BM、RBM，然后到自编码，最终引出了 DBN，并运用 DBN 对手写数字进行处理。主要完成以下几方面的任务: (1)概述离散型 Hopfield 神经网络工作机理，以及其对玻尔兹曼机 BM 的出现具有奠定基础的意义。详细分析了引入统计力学思想的 BM，从模型假设、理论推导、模型架构、模型建立等过程。 (2)在玻尔兹曼机 BM 基础上加以改进，提出了受限玻尔兹曼机 RBM。 - 1 -

第 1 章绪论 (3)探讨了深度学习中自编码过程和 RBM 的相似之处和改进的地方。 (4)详细论述了过拟合现象，并提出了针对过拟合现象做出改进措施。 (5)引出了深度置信网 DBN，并运用 DBN 对手洗字符进行识别。 - 2 -

资料库

DBN深度置信网.pdf

相关推荐

开发技术

热门标签

最新资料