logo资料库

深度卷积神经网络在计算机视觉中的应用研究综述_卢宏涛.pdf

发布时间：2022-06-01 发布人：admin 分类：说明书 资料大小：1.51M 资料格式：pdf 举报 版权申诉
第1页 / 共17页
第2页 / 共17页
第3页 / 共17页
第4页 / 共17页
第5页 / 共17页
第6页 / 共17页
第7页 / 共17页
第8页 / 共17页
资料共17页，剩余部分请下载后查看
    书书书ＩＳＳＮ　１００４－９０３７，ＣＯＤＥＮ　ＳＣＹＣＥ４Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ．３１，Ｎｏ．１，Ｊａｎ．２０１６，ｐｐ．１－１７ＤＯＩ：１０．１６３３７／ｊ．１００４－９０３７．２０１６．０１．００１２０１６ｂｙ　Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇｈｔｔｐ：／／ｓｊｃｊ．ｎｕａａ．ｅｄｕ．ｃｎＥ－ｍａｉｌ：ｓｊｃｊ＠ｎｕａａ．ｅｄｕ．ｃｎＴｅｌ／Ｆａｘ：＋８６－０２５－８４８９２７４２　深度卷积神经网络在计算机视觉中的应用研究综述＊卢宏涛　张秦川（上海交通大学计算机科学与工程系，上海，２００２４０）摘　要：随着大数据时代的到来，含更多隐含层的深度卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）具有更复杂的网络结构，与传统机器学习方法相比具有更强大的特征学习和特征表达能力。使用深度学习算法训练的卷积神经网络模型自提出以来在计算机视觉领域的多个大规模识别任务上取得了令人瞩目的成绩。本文首先简要介绍深度学习和卷积神经网络的兴起与发展，概述卷积神经网络的基本模型结构、卷积特征提取和池化操作。然后综述了基于深度学习的卷积神经网络模型在图像分类、物体检测、姿态估计、图像分割和人脸识别等多个计算机视觉应用领域中的研究现状和发展趋势，主要从典型的网络结构的构建、训练方法和性能表现３个方面进行介绍。最后对目前研究中存在的一些问题进行简要的总结和讨论，并展望未来发展的新方向。关键词：深度学习；卷积神经网络；图像识别；目标检测；计算机视觉中图分类号：ＴＰ３９１　　　文献标志码：ＡＡｐｐｌｉｃａｔｉｏｎｓ　ｏｆ　Ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ｉｎ　Ｃｏｍｐｕｔｅｒ　ＶｉｓｉｏｎＬｕ　Ｈｏｎｇｔａｏ，Ｚｈａｎｇ　Ｑｉｎｃｈｕａｎ（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｈａｎｇｈａｉ　Ｊｉａｏ　Ｔｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ，２００２４０，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｈａｓ　ｒｅｃｅｎｔｌｙ　ａｃｈｉｅｖｅｄ　ｂｒｅａｋｔｈｒｏｕｇｈ　ｐｒｏｇｒｅｓｓ　ｉｎ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｉｍａｇｅ　ｒｅｃ－ｏｇｎｉｔｉｏｎ．Ｗｉｔｈ　ｔｈｅ　ａｄｖｅｎｔ　ｏｆ　ｂｉｇ　ｄａｔａ　ｅｒａ，ｄｅｅｐ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｗｉｔｈ　ｍｏｒｅ　ｈｉｄｄｅｎ　ｌａｙｅｒｓａｎｄ　ｍｏｒｅ　ｃｏｍｐｌｅｘ　ａｒｃｈｉｔｅｃｔｕｒｅｓ　ｈａｖｅ　ｍｏｒｅ　ｐｏｗｅｒｆｕｌ　ａｂｉｌｉｔｙ　ｏｆ　ｆｅａｔｕｒｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｆｅａｔｕｒｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ．Ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌｓ　ｔｒａｉｎｅｄ　ｂｙ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｈａｖｅ　ａｔｔａｉｎｅｄ　ｒｅｍａｒｋａｂｌｅ　ｐｅｒ－ｆｏｒｍａｎｃｅ　ｉｎ　ｍａｎｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｔａｓｋｓ　ｏｆ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ　ｓｉｎｃｅ　ｔｈｅｙ　ａｒｅ　ｐｒｅｓｅｎｔｅｄ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｔｈｅ　ａｒｉｓｉｎｇ　ａｎｄ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｒｅ　ｂｒｉｅｆｌｙ　ｉｎｔｒｏｄｕｃｅｄ，ｗｉｔｈ　ｅｍｐｈａｓｉｓ　ｏｎ　ｔｈｅ　ｂａｓｉｃ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｓ　ｗｅｌｌ　ａｓ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　ｕｓｉｎｇｃｏｎｖｏｌｕｔｉｏｎ　ａｎｄ　ｐｏｏｌｉｎｇ　ｏｐｅｒａｔｉｏｎｓ．Ｔｈｅ　ｃｕｒｒｅｎｔ　ｒｅｓｅａｒｃｈ　ｓｔａｔｕｓ　ａｎｄ　ｔｒｅｎｄ　ｏｆ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔ－ｗｏｒｋｓ　ｂａｓｅｄ　ｏｎ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｔｈｅｉｒ　ａｐｐｌｉｃａｔｉｏｎｓ　ｉｎ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ　ａｒｅ　ｒｅｖｉｅｗｅｄ，ｓｕｃｈ　ａｓ　ｉｍａｇｅ　ｃｌａｓｓｉ－ｆｉｃａｔｉｏｎ，ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ，ｐｏｓｅ　ｅｓｔｉｍａｔｉｏｎ，ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｆａｃｅ　ｄｅｔｅｃｔｉｏｎ　ｅｔｃ．Ｓｏｍｅ　ｒｅｌａｔｅｄｗｏｒｋｓ　ａｒｅ　ｉｎｔｒｏｄｕｃｅｄ　ｆｒｏｍ　ｔｈｅ　ｆｏｌｌｏｗｉｎｇ　ｔｈｒｅｅ　ａｓｐｅｃｔｓ，ｉ．ｅ．，ｃｏｎｓｔｒｕｃｔｉｏｎ　ｏｆ　ｔｙｐｉｃａｌ　ｎｅｔｗｏｒｋ　ｓｔｒｕｃｔｕｒｅｓ，ｔｒａｉｎｉｎｇ　ｍｅｔｈｏｄｓ　ａｎｄ　ｐｅｒｆｏｒｍａｎｃｅ．Ｆｉｎａｌｌｙ，ｓｏｍｅ　ｅｘｉｓｔｉｎｇ　ｐｒｏｂｌｅｍｓ　ｉｎ　ｔｈｅ　ｐｒｅｓｅｎｔ　ｒｅｓｅａｒｃｈ　ａｒｅ　ｂｒｉｅｆｌｙｓｕｍｍａｒｉｚｅｄ　ａｎｄ　ｄｉｓｃｕｓｓｅｄ　ａｎｄ　ｓｏｍｅ　ｐｏｓｓｉｂｌｅ　ｎｅｗ　ｄｉｒｅｃｔｉｏｎｓ　ｆｏｒ　ｆｕｔｕｒｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ａｒｅ　ｐｒｏｓｐｅｃｔｅｄ．Ｋｅｙ　ｗｏｒｄｓ：ｄｅｅｐ　ｌｅａｒｎｉｎｇ；ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｉｍａｇｅ　ｒｅｃｏｇｎｉｔｉｏｎ；ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ；ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ＊基金项目：国家自然科学基金（６１２７２２４７）资助项目。收稿日期：２０１５－１２－１０；修订日期：２０１６－０１－１０
    引　　言图像识别是一种利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是计算机视觉领域的一个主要研究方向，在以图像为主体的智能化数据采集与处理中具有十分重要的作用和影响。使用图像识别技术能够有效地处理特定目标物体的检测和识别（如人脸、手写字符或是商品）、图像的分类标注以及主观图像质量评估等问题。目前图像识别技术在图像搜索、商品推荐、用户行为分析以及人脸识别等互联网应用产品中具有巨大的商业市场和良好的应用前景，同时在智能机器人、无人自动驾驶和无人机等高新科技产业以及生物学、医学和地质学等众多学科领域具有广阔的应用前景。早期的图像识别系统主要采用尺度不变特征变换（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ　ｆｅａｔｕｒｅ　ｔｒａｎｓｆｏｒｍ，ＳＩＦＴ［１］）和方向梯度直方图（Ｈｉｓｔｏｇｒａｍ　ｏｆ　ｏｒｉｅｎｔｅｄ　ｇｒａｄｉｅｎｔｓ，ＨＯＧ［２］）等特征提取方法，然后将提取到的特征输入至分类器中进行分类识别。这些特征本质上是一种手工设计的特征，针对不同的识别问题，提取到的特征好坏对系统性能有着直接的影响，因此需要研究人员对所要解决的问题领域进行深入的研究，以设计出适应性更好的特征，从而提高系统的性能。这个时期的图像识别系统一般都是针对某个特定的识别任务，且数据的规模不大，泛化能力较差，难以在实际应用问题当中实现精准的识别效果。深度学习是机器学习的一个分支，是近些年来机器学习领域取得的重大突破和研究热点之一。２００６年，加拿大多伦多大学教授、机器学习领域的泰斗Ｇｅｏｆｆｅｒｙ　Ｈｉｎｔｏｎ和他的学生Ｒｕｓｌａｎ　Ｓａｌａｋｈｕｔｄｉ－ｎｏｖ在国际顶尖学术刊物《Ｓｃｉｅｎｃｅ》上发表了一篇文章［３］，第一次提出了深度学习的思想。这篇文章主要提出了两个观点：（１）含多个隐层的人工神经网络具有十分强大的特征学习能力，通过训练模型所提取的特征对原始输入数据具有更抽象和更本质的表述，从而有利于解决特征可视化或分类问题；（２）通过使用无监督学习算法实现一种称作“逐层初始化”的方法，实现对输入数据信息进行分级表达，从而可以有效地降低深度神经网络的训练难度。随后，深度学习在学术界和工业界持续升温，在语音识别、图像识别和自然语言处理等领域获得了突破性的进展。２０１１年以来，研究人员首先在语音识别问题上应用深度学习技术，将准确率提高了２０％～３０％，取得了十多年来最大的突破性进展。仅仅一年之后，基于卷积神经网络的深度学习模型就在大规模图像分类任务上取得了非常大的性能提高，掀起了深度学习研究的热潮。文献［４］提出了两种基于深度神经网络的声学建模方法，相比于传统建模方法提取到了更有效的声学特征，并在维吾尔语的大词汇量连续语音识别应用上取得了较大的性能提升。目前，谷歌、微软和Ｆａｃｅｂｏｏｋ等众多国际互联网科技企业争相投入大量的资源，研发布局大规模的深度学习系统。１　卷积神经网络２０世纪６０年代初期，Ｈｕｂｅｌ和Ｗｉｅｓｅｌ等通过对猫的大脑视觉皮层系统的研究，提出了感受野［５］的概念，并进一步发现了视觉皮层通路中对于信息的分层处理机制，由此获得了诺贝尔生理学或医学奖。到了８０年代中期，Ｆｕｋｕｓｈｉｍａ等基于感受野概念提出的神经认知机［６］，可以看作是卷积神经网络（Ｃｏｎ－ｖｏｌｕｔｉｏｎ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）的第一次实现，也是第一个基于神经元之间的局部连接性和层次结构组织的人工神经网络。神经认知机是将一个视觉模式分解成许多子模式，通过逐层阶梯式相连的特征平面对这些子模式特征进行处理，使得即使在目标对象产生微小畸变的情况下，模型也具有很好的识别能力。在此之后，研究人员开始尝试使用一种被称作多层感知器［７］的人工神经网络（实际上是只含一层隐含层节点的浅层模型）来代替手工提取特征，并使用简单的随机梯度下降方法来训练该模型，于是进一步提出了用于计算误差梯度的反向传播算法，这一算法随后被证明十分有效［８］。１９９０年，ＬｅＣｕｎ等［９］在研究手写数字识别问题时，首先提出了使用梯度反向传播算法训练的卷积神经网络模型，并在ＭＮＩＳＴ［１０］手写数字数据集上表现出了相对于当时其他方法更好的性能。梯度反向传播算法和卷积神经网络的成功给机器学习领域带来了新的希望，开启了基于统计学习模型的机器学习浪潮，同时也带动２数据采集与处理Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ．３１，Ｎｏ．１，２０１６
    了人工神经网络进入到蓬勃发展的新阶段。目前，卷积神经网络已成为当前语音分析和图像识别领域的研究热点，它是第一个真正意义上的成功训练多层神经网络的学习算法模型，对于网络的输入是多维信号时具有更明显的优势。随着深度学习掀起的新的机器学习热潮，卷积神经网络已经应用于语音识别、图像识别和自然语音处理等不同的大规模机器学习问题中。１．１　概念卷积神经网络是一种为了处理二维输入数据而特殊设计的多层人工神经网络，网络中的每层都由多个二维平面组成，而每个平面由多个独立的神经元组成，相邻两层的神经元之间互相连接，而处于同一层的神经元之间没有连接。ＣＮＮｓ受到早期的时延神经网络（Ｔｉｍｅ－ｄｅｌａｙ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ［１１］，ＴＤＮＮｓ）的启发，ＴＤＮＮ通过在时间维度上共享权值来降低网络训练过程中的计算复杂度，适用于处理语音信号和时间序列信号。ＣＮＮｓ采用了权值共享网络结构使之更类似于生物神经网络，同时模型的容量可以通过改变网络的深度和广度来调整，对自然图像也具有很强的假设（统计的平稳性和像素的局部相关性）。因此，与每层具有相当大小的全连接网络相比，ＣＮＮｓ能够有效降低网络模型的学习复杂度，具有更少的网络连接数和权值参数，从而更容易训练。图１　简化的卷积神经网络结构Ｆｉｇ．１　Ｓｉｍｐｌｉｆｉｅｄ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌ　ｎｅｔｗｏｒｋ１．２　网络结构一个简单的卷积神经网络模型的结构示意图如图１所示，该网络模型由两个卷积层（Ｃ１，Ｃ２）和两个子采样层（Ｓ１，Ｓ２）交替组成。首先，原始输入图像通过与３个可训练的滤波器（或称作卷积核）和可加偏置向量进行卷积运算，在Ｃ１层产生３个特征映射图，然后对每个特征映射图的局部区域进行加权平均求和，增加偏置后通过一个非线性激活函数在Ｓ１层得到３个新的特征映射图。随后这些特征映射图与Ｃ２层的３个可训练的滤波器进行卷积，并进一步通过Ｓ２层后输出３个特征映射图。最终Ｓ２层的３个输出分别被向量化，然后输入到传统的神经网络中进行训练。１．３　卷积特征提取自然图像有其固有特性，即对于图像的某一部分，其统计特性与其他部分相同。这意味着在这一部分学习到的特征也能用在另一部分上，因此对于图像上的所有位置，可以使用同样的学习特征。换句话说，对于大尺寸的图像识别问题，首先从图像中随机选取一小块局域作为训练样本，从该小块样本中学习到一些特征，然后将这些特征作为滤波器，与原始整个图像作卷积运算，从而得到原始图像中任一位置上的不同特征的激活值。给定分辨率为ｒ×ｃ的大尺寸图像，将其定义为ｘｌａｒｇｅ，首先从ｘｌａｒｇｅ中抽取ａ×ｂ的小尺寸图像样本ｘｓｍａｌｌ，通过训练稀疏自编码器得到ｋ个特征和激活值ｆ（Ｗ（１）ｘｓｍａｌｌ＋ｂ（１）），其中Ｗ（１）和ｂ（１）是训练得到的参数。然后对于ｘｌａｒｇｅ中每个ａ×ｂ大小的ｘｓ，计算对应的激活值ｆｓ（Ｗ（１）ｘｓｍａｌｌ＋ｂ（１）），进一步使用ｘｓｍａｌｌ的激活值与这些激活值ｆｓ作卷积运算，就可以得到ｋ×（ｒ－ａ＋１）×（ｃ－ｂ＋１）个卷积后的特征映射图。二维卷积计算的示意图如图２所示。例如，对于分辨率为１２８×１２８的原始输入图像，假设经过预训练已经得到了该图像的２００个８×８大小的特征碎片。那么，通过使用这２００个特征碎片对原始图像中每个８×８的小块区域进行卷积运算，每个特征碎片均可以得到１２１×１２１的卷积特征映射图，最终整幅图像可以得到２００×１２１×１２１的卷积特征映射图。３　卢宏涛等：深度卷积神经网络在计算机视觉中的应用研究综述
    图２　二维卷积运算操作示意图Ｆｉｇ．２　Ｉｌｌｕｓｔｒａｔｉｏｎ　ｏｆ　ｔｗｏ－ｄｉｍｅｎｓｉｏｎａｌｃｏｎｖｏｌｕｔｉｏｎ　ｏｐｅｒａｔｉｏｎ１．４　池化操作通过将卷积层提取到的特征输入至分类器中进行训练，可以实现输出最终的分类结果。理论上可以直接将卷积层提取到的所有特征输入至分类器中，然而这将需要非常大的计算开销，特别是对于大尺寸高分辨率图像。例如：对于一个输入为９６×９６大小的图像样本，假设在卷积层使用２００个８×８大小的卷积核对该输入图像进行卷积运算操作，每个卷积核都输出一个（９６－８＋１）×（９６－８＋１）＝７　９２１维的特征向量，最终卷积层将输出一个７　９２１×２００＝１　５８４　２００维的特征向量。将如此高维度的特征输入至分类器中进行训练需要耗费非常庞大的计算资源，同时也会产生严重的过拟合问题。然而，由于图像具有一种“静态性”的属性，在图像的一个局部区域得到的特征极有可能在另一个局部区域同样适用。因此，可以对图像的一个局部区域中不同位置的特征进行聚合统计操作，这种操作称为“池化”。比如计算该局部区域中某个卷积特征的最大值（或平均值），称作最大池化（或平均池化）。具体来说，假设池化的区域大小为ｍ×ｎ，在获得卷积特征后，将卷积特征划分为多个ｍ×ｎ大小的不相交区域，然后在这些区域上进行池化操作，从而得到池化后的特征映射图。如图３所示，图３　最大池化运算操作示意图Ｆｉｇ．３　Ｉｌｌｕｓｔｒａｔｉｏｎ　ｏｆ　ｍａｘ　ｐｏｏｌｉｎｇ　ｏｐｅｒａｔｉｏｎ在一幅图像的４块不重合子区域上使用３×３大小的窗口对其进行最大池化，得到池化后的特征映射图。如果选择图像中的连续范围作为池化区域，同时只对相同的隐含神经元产生的卷积特征使用池化，则这些池化后的特征单元具有平移不变性。也就是说，即使原始图像中的物体产生了一个较小的平移，依然可以得到相同的池化特征，分类器也依然能够输出相同的分类结果。与直接使用卷积后的特征相比，这些概要统计特征不仅能够极大地降低特征向量的维度，进一步降低训练分类器所需的计算量，而且能够有效地扩充训练数据，有利于防止过拟合。２　图像分类图像分类问题是通过对图像的分析，将图像划归为若干个类别中的某一种，主要强调对图像整体的语义进行判定。当下有很多用于评判图像分类算法的带标签的数据集，比如ＣＩＦＡＲ－１０／１００［１２］，Ｃａｌｔｅｃｈ－１０１／２５６［１３－１４］和ＩｍａｇｅＮｅｔ［１５］，其中ＩｍａｇｅＮｅｔ包含超过１５　０００　０００张带标签的高分辨率图像，这些图像被划分为超过２２　０００个类别。从２０１０年至今，每年举办的ＩｍａｇｅＮｅｔ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｖｉｓｕａｌ　Ｒｅｃｏｇ－ｎｉｔｉｏｎ　Ｃｈａｌｌｅｎｇｅ（ＩＬＳＶＲＣ）图像分类比赛是评估图像分类算法的一个重要赛事。它的数据集是Ｉｍａ－ｇｅＮｅｔ的子集，包含上百万张图像，这些图像被划分为１　０００个类别。其中，２０１０年与２０１１年的获胜团队采用的都是传统图像分类算法，主要使用ＳＩＦＴ，ＬＢＰ［１６］等算法来手动提取特征，再将提取的特征用于训练支持向量机（Ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ，ＳＶＭ）等分类器进行分类，取得的最好结果是２８．２％的错误率［１７］。ＩＬＳＶＲＣ２０１２则是大规模图像分类领域的一个重要转折点。在这场赛事中，Ａｌｅｘ　Ｋｒｉｚｈｅｖｓｋｙ等提出的ＡｌｅｘＮｅｔ［１８］首次将深度学习应用于大规模图像分类，并取得了１６．４％的错误率，该错误率比使４数据采集与处理Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ．３１，Ｎｏ．１，２０１６
    用传统算法的第２名的参赛队低了大约１０％。如图４所示，ＡｌｅｘＮｅｔ是一个８层的卷积神经网络，前５层是卷积层，后３层为全连接层，其中最后一层采用ｓｏｆｔｍａｘ进行分类。该模型采用Ｒｅｃｔｉｆｉｅｄ　ｌｉｎｅａｒ　ｕ－ｎｉｔｓ（ＲｅＬＵ）来取代传统的Ｓｉｇｍｏｉｄ和ｔａｎｈ函数作为神经元的非线性激活函数，并提出了Ｄｒｏｐｏｕｔ方法来减轻过拟合问题。图４　简化的ＡｌｅｘＮｅｔ模型结构Ｆｉｇ．４　Ｓｉｍｐｌｉｆｉｅｄ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　ＡｌｅｘＮｅｔ　ｍｏｄｅｌ自ＡｌｅｘＮｅｔ提出以后，基于深度卷积神经网络的模型开始取代传统图像分类算法成为ＩＬＳＶＲＣ图像分类比赛参赛队伍所采用的主流方法。ＩＬＳＶＲＣ２０１３的获胜队伍Ｃｌａｒｉｆａｉ［１９］提出了一套卷积神经网络的可视化方法，运用反卷积网络对ＡｌｅｘＮｅｔ的每个卷积层进行可视化，以此来分析每一层所学习到的特征，从而加深了对于卷积神经网络为什么能够在图像分类上取得好的效果的理解，并据此改进了该模型，取得了１１．７％的错误率。ＩＬＳＶＲＣ２０１４的图像分类比赛结果相比于前一年取得了重大的突破，其中获胜队伍Ｇｏｏｇｌｅ团队所提出的ＧｏｏｇｌｅＮｅｔ［２０］以６．７％的错误率将图像分类比赛的错误率降至以往最佳记录的一半。该网络有图５　简化的Ｉｎｃｅｐｔｉｏｎ模块结构［２０］Ｆｉｇ．５　Ｓｉｍｐｌｉｆｉｅｄ　ｓｔｒｕｃｔｕｒｅ　ｏｆ　Ｉｎｃｅｐｔｉｏｎ　ｍｏｄｕｌｅ［２０］２２层，受到赫布学习规则的启发，同时基于多尺度处理的方法对卷积神经网络作出改进。该文基于Ｎｅｔｗｏｒｋ　ｉｎ　ｎｅｔｗｏｒｋ［２１］思想提出了Ｉｎｃｅｐｔｉｏｎ模块。Ｉｎｃｅｐｔｉｏｎ模块的结构如图５所示，它的主要思想是想办法找出图像的最优局部稀疏结构，并将其近似地用稠密组件替代。这样做一方面可以实现有效的降维，从而能够在计算资源同等的情况下增加网络的宽度与深度；另一方面也可以减少需要训练的参数，从而减轻过拟合问题，提高模型的推广能力。在ＩＬＳＶＲＣ２０１４中，以８．１％的错误率获得第３名的是来自微软亚洲研究院的团队所设计的ＳＰＰ－Ｎｅｔ［２２］，他们提出了一个新的池化方法，叫作空间金字塔池化，如图６所示。之前大部分卷积神经网络模型都要求输入图像大小固定，因此需要对原始图像进行剪切，这样将导致原始图像信息的丢失；或者需要对图像的大小和长宽比进行调整，这样会使图像产生扭曲变形。注意到卷积层对输入图像的大小没有限制，只有全连接层由于参数个数固定，需要保证输入的维数固定。然而卷积层的输出维数随着输５　卢宏涛等：深度卷积神经网络在计算机视觉中的应用研究综述
    图６　空间金字塔池化模型结构［２２］Ｆｉｇ．６　Ｓｔｒｕｃｔｕｒｅ　ｏｆ　ｓｐａｔｉａｌ　ｐｙｒａｍｉｄ　ｐｏｏｌｉｎｇ　ｍｏｄｅｌ［２２］入维数的变化而变化，所以需要保证输入图像大小固定。因此，空间金字塔池化的作用是对任意维数的输入均产生固定维数的输出，从而使网络可以接受任意大小的图像作为输入。该池化方法将输入划分为固定个数的局部空间块，在每个块内进行最大池化，从而保证输出维数固定。采用多层次的空间块划分方法，则可以提取不同尺度的特征。２０１５年年初，微软亚洲研究院的研究人员提出的ＰＲｅＬＵ－Ｎｅｔｓ［２３］，在ＩＬＳＶＲＣ的图像分类数据集上取得了４．９４％的ｔｏｐ－５错误率，成为在该数据集上首次超过人眼识别效果（错误率约５．１％［１７］）的模型。该模型相比于以往的卷积神经网络模型有两点改进，一是推广了传统的修正线性单元（ＲｅＬＵ），提出参数化修正线性单元（ＰＲｅＬＵ）。该激活函数可以适应性地学习修正单元的参数，并且能够在额外计算成本可以忽略不计的情况下提高识别的准确率。同时，该模型通过对修正线性单元（ＲｅＬＵ／ＰＲｅＬＵ）的建模，推导出了一套具有鲁棒性的初始化方法，能够使得层数较多的模型（比如含有３０个带权层的模型）收敛。随后不久，Ｇｏｏｇｌｅ在训练网络时对每个ｍｉｎｉ－ｂａｔｃｈ进行正规化，并称其为Ｂａｔｃｈ　ｎｏｒｍａｌｉｚａｔｉｏｎ，将该训练方法运用于ＧｏｏｇｌｅＮｅｔ，在ＩＬＳＶＲＣ２０１２的数据集上达到了４．８２％的ｔｏｐ－５错误率［２４］。归一化是训练深度神经网络时常用的输入数据预处理手段，可以减少网络中训练参数初始权重对训练效果的影响，加速收敛。于是Ｇｏｏｇｌｅ的研究人员将归一化的方法运用于网络内部的激活函数中，对层与层之间的传输数据进行归一化。由于训练时使用随机梯度下降法，这样的归一化只能在每个ｍｉｎｉ－ｂａｔｃｈ内进行，所以被命名为Ｂａｔｃｈ　ｎｏｒｍａｌｉｚａｔｉｏｎ。该方法可以使得训练时能够使用更高的学习率，减少训练时间；同时减少过拟合，提高准确率。尽管卷积神经网络已经拥有强大的图像学习能力，然而这类模型缺乏对于图像空间不变性的学习，尤其是缺乏对于图像旋转不变性的学习［１９］。Ｇｏｏｇｌｅ　ＤｅｅｐＭｉｎｄ提出的Ｓｐａｔｉａｌ　ｔｒａｎｓｆｏｒｍｅｒ［２５］旨在通过提高卷积神经网络对于图像空间不变性的学习能力，来加强其图像分类的准确率。Ｓｐａｔｉａｌ　ｔｒａｎｓｆｏｒｍｅｒ是可以在卷积神经网络的任意深度位置加入的模块，它可以将输入数据进行一系列空间变换，使得输出特征更加易于进行分类。在训练过程中，该模块可以自主地学习到空间变换所需要的参数，并且不需要在训练中增加任何额外的监督处理。在２０１５年年底揭晓的ＩｍａｇｅＮｅｔ计算机视觉识别挑战赛ＩＬＳＶＲＣ２０１５的结果中，来自微软亚洲研究院团队所提出的深达１５２层的深层残差网络以绝对优势获得图像检测、图像分类和图像定位３个项目的冠军，其中在图像分类的数据集上取得了３．５７％的错误率［２６］。随着卷积神经网络层数的加深，网络的训练过程更加困难，从而导致准确率开始达到饱和甚至下降。该团队的研究人员认为，当一个网络达到最优训练效果时，可能要求某些层的输出与输入完全一致；这时让网络层学习值为０的残差函数比学习恒等函数更加容易。因此，深层残差网络将残差表示运用于网络中，提出了残差学习的思想。如图７所示，为了实现残差学习，将Ｓｈｏｒｔｃｕｔ　ｃｏｎｎｅｃｔｉｏｎ的方法适当地运用于网络中部分层之间的连接，从而６数据采集与处理Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ．３１，Ｎｏ．１，２０１６
    图７　残差学习模块［２６］Ｆｉｇ．７　Ｂｕｉｌｄｉｎｇ　ｂｌｏｃｋ　ｏｆ　ｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇ［２６］保证随着网络层数的增加，准确率能够不断提高，而不会下降。由于ＩｍａｇｅＮｅｔ具有数据集规模大、图像类别多等特点，运用ＩｍａｇｅＮｅｔ所训练的模型具有很强的推广能力，在其他数据集上也能取得良好的分类结果；而如果进一步在目标数据集上进行微调，与只用目标数据集进行训练相比大多能够获得更好的效果。首个将卷积神经网络很好地运用于物体检测的Ｒ－ＣＮＮ模型［２７］，就是将使用ＩｍａｇｅＮｅｔ训练过的ＡｌｅｘＮｅｔ模型在ＰＡＳＣＡＬ　ＶＯＣ数据集上进行微调后用于提取图像特征，取得了比以往模型高出２０％的准确率。除此之外，将用ＩｍａｇｅＮｅｔ数据集训练过的模型运用于遥感图像分类［２８］、室内场景分类［２９］等其他类型的数据集上，也取得了比以往方法更好的效果。从深度学习首次在ＩＬＳＶＲＣ２０１２中被运用于图像分类比赛并取得令人瞩目的成绩以来，基于深度学习方法模型开始在图像识别领域被广泛运用，新的深度神经网络模型的涌现在不断刷新着比赛记录的同时，也使得深度神经网络模型对于图像特征的学习能力不断提升。同时，由于ＩｍａｇｅＮｅｔ，ＭＳ　ＣＯ－ＣＯ等大规模数据集的出现，使得深度网络模型能够得到很好的训练，通过大量数据训练出来的模型具有更强的泛化能力，能够更好地适应对于实际应用所需要的数据集的学习，提升分类效果。３　物体检测与图像分类比起来，物体检测是计算机视觉领域中一个更加复杂的问题，因为一张图像中可能含有属于不同类别的多个物体，需要对它们均进行定位并识别其种类。因此，在物体检测中要取得好的效果也比物体分类更具有挑战性，运用于物体检测的深度学习模型也会更加复杂。ＡｌｅｘＮｅｔ在ＩＬＳＶＲＣ２０１２中所取得的成功不仅影响了图像分类方向的研究，也得到了计算机视觉领域中其他方向研究者的关注。在那个时期，物体检测仍然是运用传统算法进行，在ＰＡＳＣＡＬ　ＶＯＣ等物体检测的标准测试数据集上的结果也没有取得较大的突破。因此，Ｒｏｓｓ　Ｇｉｒｓｈｉｃｋ等便将卷积神经网络运用于物体检测中，提出了Ｒ－ＣＮＮ模型［２７］。如图８所示，该模型首先使用Ｓｅｌｅｃｔｉｖｅ　ｓｅａｒｃｈ［３０］这一非深度学习算法来提出待分类的候选区域，然后将每个候选区域输入到卷积神经网络中提取特征，接着将这些特征输入到线性支持向量机中进行分类。为了使得定位更加准确，Ｒ－ＣＮＮ中还训练了一个线性回图８　Ｒ－ＣＮＮ物体检测系统概览［２７］Ｆｉｇ．８　Ｏｖｅｒｖｉｅｗ　ｏｆ　Ｒ－ＣＮＮ：Ｒｅｇｉｏｎｓ　ｗｉｔｈ　ＣＮＮ　ｆｅａｔｕｒｅｓ［２７］归模型来对候选区域坐标进行修正，该过程被称为Ｂｏｕｎｄｉｎｇ　ｂｏｘ　ｒｅｇｒｅｓｓｉｏｎ。该模型在ＰＡＳＣＡＬ　ＶＯＣ的物体检测数据集上取得了比传统算法高大约２０％的平均正确率均值，奠定了以后使用卷积神经网络进行物体检测的模型结构的基础。由于ＰＡＳＣＡＬ　ＶＯＣ数据集比ＩｍａｇｅＮｅｔ数据集小，Ｒ－ＣＮＮ使用Ｉｍ－７　卢宏涛等：深度卷积神经网络在计算机视觉中的应用研究综述
    ａｇｅＮｅｔ数据集对其中的卷积神经网络进行预训练，再将模型在ＰＡＳＣＡＬ　ＶＯＣ数据集上进行微调，取得了更好的训练效果。这种微调方法也成为后来用于物体检测的深度学习模型常用的预处理手段。在Ｒ－ＣＮＮ模型中，对于每张图像大约产生２　０００个候选区域，而对于每张图像，它的所有候选区域都要分别进行特征提取，这就使得特征提取所消耗的时间成为总的测试时间的瓶颈。微软亚洲研究院的研究团队将ＳＰＰ－Ｎｅｔ运用于物体检测中，并改进了Ｒ－ＣＮＮ的这一缺陷。ＳＰＰ－Ｎｅｔ针对用Ｓｅｌｅｃｔｉｖｅｓｅａｒｃｈ算法产生的候选区域，将这些区域的坐标投射到最高层卷积层所输出的特征映射的对应位置上，然后把每个候选区域所对应的特征输入到空间金字塔池化层，得到一个固定长度的特征表示。接下来的步骤与Ｒ－ＣＮＮ相似，都是将这些特征表示输入到全连接层、将全连接层输出的特征输入到线性支持向量机进行分类以及使用Ｂｏｕｎｄｉｎｇ　ｂｏｘ　ｒｅｇｒｅｓｓｉｏｎ修正候选区域坐标。在ＰＡＳＣＡＬ　ＶＯＣ上，该网络取得了与Ｒ－ＣＮＮ相近的准确率，但是由于时间消耗大的卷积操作对于每张输入图像只进行了一次，使得总的测试所用时间大大减少。ＳＰＰ－Ｎｅｔ在物体检测方面虽然对Ｒ－ＣＮＮ的图像处理流程做出了一定改进，但仍然存在着一些缺陷。在进行训练和测试的过程中，提出候选区域、提取图像特征以及根据特征进行分类３个过程形成了多阶段流水线。这样做的一个直接结果是需要额外的空间来存储提取出来的特征，供分类器使用。于是Ｒ－ＣＮＮ的设计者之一Ｒｏｓｓ　Ｇｉｒｓｈｉｃｋ便对Ｒ－ＣＮＮ提出了进一步的改进方案，称为Ｆａｓｔ　Ｒ－ＣＮＮ［３１］，其结构如图９所示。与Ｒ－ＣＮＮ中的卷积神经网络相比，Ｆａｓｔ　Ｒ－ＣＮＮ对最后一个池化层进行了改进，提出了Ｒｅｇｉｏｎ　ｏｆ　ｉｎｔｅｒｅｓｔ（ＲｏＩ）ｐｏｏｌｉｎｇ层。这个层的作用与ＳＰＰ－Ｎｅｔ用于物体检测网络中的空间金字塔池化层相似，作用都是对于任意大小的输入，输出固定维数的特征向量，只是ＲｏＩ　ｐｏｏｌｉｎｇ层中只进行了单层次的空间块划分。这一改进使得Ｆａｓｔ　Ｒ－ＣＮＮ与ＳＰＰ－Ｎｅｔ一样，可以将整张输入图像以及由Ｓｅｌｅｃｔｉｖｅｓｅａｒｃｈ算法产生的候选区域坐标信息一起输入卷积神经网络中，在最后一层卷积层输出的特征映射上对每个候选区域所对应的输出特征进行ＲｏＩ　ｐｏｏｌｉｎｇ，从而不再需要对每个候选区域都单独进行一次卷积计算操作。除此之外，Ｆａｓｔ　Ｒ－ＣＮＮ将卷积神经网络的最后一个ｓｏｆｔｍａｘ分类层改为两个并列的全连接层，其中一层仍为ｓｏｆｔｍａｘ分类层，另一层为Ｂｏｕｎｄｉｎｇ　ｂｏｘ　ｒｅｇｒｅｓｓｏｒ，用于修正候选区域的坐标信息。在训练过程中，Ｆａｓｔ　Ｒ－ＣＮＮ设计了一个多任务损失函数，来同时训练用于分类和修正候选区域坐标信息的两个全连接层。这种训练方式比之前Ｒ－ＣＮＮ所采用的分阶段训练方式所得到的网络在ＰＡＳＣＡＬＶＯＣ数据集上取得了更好的检测效果，从而Ｆａｓｔ　Ｒ－ＣＮＮ中不再需要额外训练ＳＶＭ分类器，实现了从提取图像特征到完成检测的一体化。由于Ｆａｓｔ　Ｒ－ＣＮＮ的卷积神经网络中卷积操作对于每张输入图像只需进行一次，而全连接层的计算对于每个候选区域均进行一次，从而使得全连接层的计算时间在总运行时间中占了很大的比例。因此，ｆａｓｔ　Ｒ－ＣＮＮ提出了用截断奇异值分解来加快全连接层运行速度的方图９　Ｆａｓｔ　Ｒ－ＣＮＮ结构示意图［３１］Ｆｉｇ．９　Ｆａｓｔ　Ｒ－ＣＮＮ　ａｒｃｈｉｔｅｃｔｕｒｅ［３１］８数据采集与处理Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ．３１，Ｎｏ．１，２０１６
    分享到：
    赞 收藏

    相关推荐

    资料库

    行业

    共收录7266份资料，累计15个分类，关注成员有19位，主要包括：物流,旅游,餐饮零售,网络游戏,咨询,金融,电子政务,外包,教育,制造,医疗,嵌入式,互联网,交通,电信

    热门标签

    物流 旅游 餐饮零售 网络游戏 咨询 金融 电子政务 外包 教育 制造 医疗 嵌入式 互联网 交通 电信

    最新资料