YOLOV4论文全文翻译.pdf-资料库

YOLOv4:目标检测的最佳速度和精度摘要有许多功能可以提高卷积神经网络（CNN）的准确性。需要在大型数据集上对这些特征的组合进行实际测试，并对结果进行理论证明。某些功能只能在某些模型上使用，某些问题只能在某些模型上使用，或者仅适用于小型数据集；而某些功能（例如批归一化和残差连接）适用于大多数模型，任务和数据集。我们尝试此类通用功能包括加权残差连接（WRC），跨阶段部分连接（CSP），跨小批量标准化（CmBN），自对抗训练（SAT）和 Mish 激活。我们使用以下新功能： WRC ， CSP ， CmBN ， SAT ， Mish 激活，马赛克数据增强， CmBN ， DropBlock 正则化和 CIoU 损失函数，并结合使用其中的一些功能以实现最新的结果：43.5％的 AP（65.7 在 Tesla V100 上，MS COCO 数据集的实时速度约为 65 FPS。源代码位于 https://github.com/AlexeyAB/darknet。 1、介绍大多数基于 CNN 的物体检测器仅适用于推荐系统。例如，通过慢速精确模型执行通过城市摄像机搜索空闲停车位的过程，而汽车碰撞警告则与快速不精确模型有关。提高实时物体检测器的精度不仅可以将它们用于提示生成推荐系统，还可以用于独立的过程管理和人工输入减少。常规图形处理单元（GPU）上的实时对象检测器操作允许它们以可承受的价格进行大量使用。最精确的现代神经网络不能实时运行，并且需要大量的 GPU 来进行大批量的训练。我们通过创建可在常规 GPU 上实时运行的 CNN 来解决此

类问题，而对于 CNN 而言，训练只需一个常规 GPU。这项工作的主要目标是在生产系统中设计一个快速运行速度的目标检测器并优化并行计算，而不是低计算量理论指标（BFLOP）。我们希望可以轻松地训练和使用设计的对象。例如，任何使用常规 GPU 进行训练和测试的人都可以获得实时，高质量和令人信服的对象检测结果，如图 1 所示的 YOLOv4 结果。我们的贡献总结如下： 1. 我们开发了一种高效而强大的物体检测模型。它使每个人都可以使用 1080 Ti 或 2080 Ti GPU 来训练超快速和准确的物体检测器。 2. 我们在探测器培训期间，验证了最新的 Bag of freebies 和 Bag of specials 检测方法的影响。 3. 我们修改了最先进的方法，使它们更有效，更适合单 GPU 训练，包括 CBN [89]，PAN [49]，SAM [85]等。 2、相关工作 2.1 目标检测模型现代检测器通常由两部分组成，一个是在 ImageNet 上预训练的骨架，另一个是用来预测物体的类别和边界框的头部。对于在 GPU 平台上运行的检测器，其主干可以是 VGG [68]，ResNet [26]，ResNeXt [86]或 DenseNet [30]。对于在 CPU 平台上运行的检测器，其主干可以是 SqueezeNet [31]，MobileNet [28、66、27、 74]或 ShuffleNet [97、53]。至于头部，通常分为两类，即一级对象检测器和二级对象检测器。最有代表性的两级对象检测器是 R-CNN [19]系列，包括快速 R-CNN

[18] ， faster R-CNN [64] ， R-FCN [9] 和 Libra R-CNN [58] 。也有可能使二级对象检测器成为无锚对象检测器，例如 RepPoints [87]。对于一级目标检测器，最具代表性的模型是 YOLO [61、62、63]，SSD [50]和 RetinaNet [45]。近年来，开发了无锚的一级物体检测器。这种检测器是 CenterNet [13]，CornerNet [37、38]，FCOS [78]等。近年来开发的对象检测器通常在骨架和头部之间插入一些层，这些层通常用于从不同的阶段收集特征图。我们可以称其为对象检测器的颈部。通常，颈部由几个自下而上的路径和几个自上而下的路径组成。配备此机制的网络包括功能金字塔网络（FPN）[44]，路径聚合网络（PAN）[49]，BiFPN [77]和 NAS-FPN [17]。除上述模型外，一些研究人员还强调直接构建用于对象检测的新主干（ DetNet [43]，DetNAS [7]）或新的整个模型（SpineNet [12]，HitDetector [20]）。综上所述，普通的物体检测器由以下几部分组成： 2.2 Bag of freebies 通常，常规的物体检测器是离线训练的。因此，研究人员总是喜欢利用这一优势，并开发出更好的训练方法，以使物体检测器获得更好的精度而又不增加推理成本。我们称这些方法为“bag of freebies”，仅改变培训策略或仅增加培训成本。数据增强是对象检测方法经常采用的并且符合免费赠物袋定义的方法。数据增强的目的是增加输入图像的可变性，从而设计的物体检测模型对从不同环境获得的

图像具有更高的鲁棒性。例如，光度失真和几何失真是两种常用的数据扩充方法，它们无疑有益于物体检测任务。在处理光度失真时，我们调整图像的亮度，对比度，色相，饱和度和噪点。对于几何变形，我们添加了随机缩放，裁剪，翻转和旋转。上面提到的数据扩充方法都是逐像素调整，并且保留了调整区域中的所有原始像素信息。此外，一些从事数据增强的研究人员将重点放在模拟对象遮挡问题上。他们在图像分类和目标检测中取得了良好的效果。例如，随机擦除 [100] 和 CutOut [11] 可以随机选择图像中的矩形区域，并填充零的随机或互补值。至于捉迷藏[69]和网格遮罩[6]，他们随机或均匀地选择图像中的多个矩形区域并将其替换为全零。如果类似的概念应用于特征图，则有 DropOut [71] ， DropConnect [80] 和 DropBlock [16]方法。另外，一些研究人员提出了将多个图像一起用于执行数据增强的方法。例如，MixUp [92]使用两个图像以不同的系数比率进行乘法和叠加，然后使用这些叠加比率来调整标签。对于 CutMix [91]，它是将裁切后的图像覆盖到其他图像的矩形区域，并根据混合区域的大小调整标签。除了上述方法之外，样式转移 GAN [15]还用于数据增强，并且这种用法可以有效地减少 CNN 所学习的纹理偏差。与上面提出的各种方法不同，其他一些免费赠品方法专用于解决数据集中语义分布可能存在偏差的问题。在处理语义分布偏差问题时，一个非常重要的问题是，不同类之间存在数据不平衡的问题，而对于两阶段目标检测该问题通常通过硬否定示例挖掘 [72]或在线硬示例挖掘[67]解决。但是示例挖掘方法不适用于一级目标检测器，因为这种检测器属于密集预测体系结构。因此林等。 [45]提出了焦点损失，以解决各种类别之间存在的数据不平衡问题。另一个非常重要的问题是，很难用一键式硬表示来表达不同类别之间的关联度关系。执行标记时经常使用此表示方案。在[73]中提出的标签平滑是将硬标签转换为软标签以进行训练，这可以使模型更健壮。为了获得更好的软标签，Islam 等。 [33]介绍了知识蒸馏的概念来设计标签细化网络。最后 bag of freebies 是边界框（BBox）回归的目标函数。传统的对象检测器通常使用均方误差（MSE）直接对 BBox 的中心点坐标以及高度和宽度执行回归，即{xcenter，ycenter，w，h}或左上角和右下角点，即{xtop lef t，ytop lef t，xbottom right ， ybottom right} 。对于基于锚的方法，将估计相应的偏移量，例如 {f 集的

xcenter，f 集的 ycenter，wof f 集，hof f 集}和{fset 的 xtop lef t，f set 的 ytop lef t 设置，则 f 设置在 xbottom 的右边，f 设置在 ybottom 的右边}。但是，直接估计 BBox 的每个点的坐标值是将这些点视为独立变量，但实际上并未考虑对象本身的完整性。为了使这个问题得到更好的处理，一些研究人员最近提出了 IoU 损失[90]，它考虑了预测的 BBox 区域和地面真实 BBox 区域的覆盖范围。 IoU 损耗计算过程将通过使用基本事实执行 IoU，然后将生成的结果连接到整个代码中，从而触发 BBox 的四个坐标点的计算。由于 IoU 是尺度不变表示，因此可以解决传统方法计算{x，y，w，h}的 l1 或 l2 损失时，损耗会随尺度增加的问题。最近，一些研究人员继续改善 IoU 损失。例如，GioU 损失 [65]除了覆盖区域外还包括对象的形状和方向。他们建议找到可以同时覆盖预测的 BBox 和地面真值 BBox 的最小面积 BBox，并使用该 BBox 作为分母来代替最初用于 IoU 损失的分母。至于 DIoU 损失[99]，它还考虑了对象中心的距离，而 CIoU 损失[99]同时考虑了重叠区域，中心点之间的距离和纵横比。 CIoU 可以在 BBox 回归问题上实现更好的收敛速度和准确性。 2.3 Bag of specials 对于那些仅增加少量推理成本但可以显着提高对象检测准确性的插件模块和后处理方法，我们将其称为“Bag of specials”。一般而言，这些插件模块用于增强模型中的某些属性，例如扩大接受域，引入注意力机制或增强特征集成能力等，而后处理是用于筛选模型预测结果的方法。可以用来增强感受野的常用模块是 SPP [25] ， ASPP [5] 和 RFB [47] 。 SPP 模块起源于空间金字塔匹配（SPM） [39]，SPM 的原始方法是将特征图分割为几个 d×d 个相等的块，其中 d 可以为{1,2,3，...}，因此形成空间金字塔，然后提取词袋特征。 SPP 将 SPM 集成到 CNN 中，并使用最大池操作而不是单词袋操作。由于 He 等人提出的 SPP 模块 [25]将输出一维特征向量，在全卷积网络（FCN）中应用是不可行的。因此，在 YOLOv3 [63]的设计中，Redmon 和 Farhadi 将 SPP 模块改进为内核大小为 k×k 的最大池输出的级联，其中 k = {1,5,9,13}，步幅等于 1。在这种设计下，较大的 k× k 最大池有效地增加了骨干特征的接收场。在添加了改进版本的 SPP 模块之后，YOLOv3-608 在 MS COCO 对象检测任务上将 AP50 升级了 2.7％，而额外的计算成本为 0.5％。 ASPP [5]模块和改进的 SPP 模块之间的操作差异主要在于原始 k× k 内核大小，步幅的最大池等于 1 到几个 3×3 内

核大小，膨胀比等于 k，步幅等于在膨胀卷积运算中为 1。 RFB 模块将使用 k×k 内核的几个膨胀卷积，膨胀比等于 k，步幅等于 1，以获得比 ASPP 更全面的空间覆盖。 RFB [47]仅花费 7％的额外推理时间，即可将 MS COCO 上 SSD 的 AP50 提高 5.7％。物体检测中经常使用的注意力模块主要分为通道注意和点注意，这两种注意模型的代表是挤压和激发（SE）[29]和空间注意模块（SAM）[ 85]。尽管 SE 模块可以将 ImageNet 图像分类任务中的 ResNet50 的功能提高 1％至 top-1 精度，但其代价仅是将计算工作量增加 2％，但是在 GPU 上通常会增加大约 10％的推理时间，因此更适合在移动设备中使用。但是对于 SAM ，它只需要支付 0.1％的额外费用即可在 ImageNet 图像分类任务上将 ResNet50-SE 的 top-1 准确性提高 0.5％。最棒的是，它根本不影响 GPU 上的推理速度。在特征集成方面，早期的实践是使用跳过连接[51]或超列[22]将低层物理特征集成到高层语义特征。由于诸如 FPN 的多尺度预测方法已变得流行，因此提出了许多集成了不同特征金字塔的轻量级模块。这种模块包括 SFAM [98]，ASFF [48] 和 BiFPN [77]。 SFAM 的主要思想是使用 SE 模块在多尺度级联特征图上执行通道级重加权。至于 ASFF，它使用 softmax 作为逐点级别的权重，然后添加不同比例的特征图。在 BiFPN 中，提出了多输入加权残差连接以执行按比例的级别重新加权，然后添加不同比例的特征图。在深度学习的研究中，有些人专注于寻找良好的激活功能。良好的激活函数可以使梯度更有效地传播，同时不会引起过多的额外计算成本。 Nair 和 Hinton [56] 在 2010 年提出 ReLU 来实质上解决传统的 tanh 和 S 形激活函数中经常遇到的梯度消失问题。随后，LReLU [54]， PReLU [24]， ReLU6 [28]，比例指数线性单位（ SELU） [35]， Swish [59] ， hard-Swish [27] 和 Mish [55]等。还提出了用于解决梯度消失问题的方法。 LReLU 和 PReLU 的主要目的是解决输出小于零时 ReLU 的梯度为零的问题。至于 ReLU6 和 Hard-Swish，它们是专门为量化网络设计的。为了对神经网络进行自归一化，提出了 SELU 激活函数来满足该目标。要注意的一件事是，Swish 和 Mish 都是连续可区分的激活函数。基于深度学习的对象检测中常用的后处理方法是 NMS，它可以用来过滤那些不好地预测同一对象的 BBox，并仅保留响应速度更快的候选 BBox。 NMS 尝试改进的方法与优化目标函数的方法一致。 NMS 提出的原始方法没有考虑上下文信

息，因此 Girshick 等。 [19] 在 R-CNN 中添加了分类置信度得分作为参考，并根据置信度得分的顺序，按从高分到低分的顺序执行贪婪的 NMS。对于软网络管理系统 [1]，它考虑到一个问题，即物体的遮挡可能会导致带有 IoU 分数的贪婪的网络管理系统的置信度得分下降。 DIoU NMS [99]开发人员的思维方式是在软 NMS 的基础上将中心点距离的信息添加到 BBox 筛选过程中。值得一提的是，由于上述后处理方法都没有直接涉及捕获的图像特征，因此在随后的无锚定方法开发中不再需要后处理。 3、方法基本目标是在生产系统中使用神经网络以更快的速度运行，并优化并行计算，而不是使用低计算量理论指标（BFLOP）。我们提供了实时神经网络的两种选择： 1. 对于 GPU ，我们在卷积层中使用少量组（ 1-8 ）： CSPResNeXt50 / CSPDarknet53 2. 对于 VPU-我们使用分组卷积，但我们避免使用挤压和激发（SE）块-特别是其中包括以下型号： EfficientNet-lite / MixNet [76] / GhostNet [21] / MobileNetV3 3.1 架构选择我们的目标是在输入网络分辨率，卷积层数，参数数（过滤器大小 2 *过滤器 *通道/组）和层输出（过滤器）的数量之间找到最佳平衡。例如，我们的大量研究表明，就 ILSVRC2012（ ImageNet）数据集上的对象分类而言， CSPResNext50 比 CSPDarknet53 更好。但是，相反，在检测 MS COCO 数据集上的对象方面， CSPDarknet53 优于 CSPResNext50 [46]。下一个目标是针对不同的检测器级别从不同的主干级别中选择其他块来增加接收场和参数聚集的最佳方法： FPN，PAN，ASFF，BiFPN。对于分类而言最佳的参考模型对于检测器而言并不总是最佳的。与分类器相比，检测器需要满足以下条件： •更高的输入网络尺寸（分辨率）–用于检测多个小型物体

•更高的层–用于更高的接收场，以覆盖输入网络尺寸的增大 •更多的参数–用于模型检测更大尺寸的多个物体的能力单张图片假设地说，我们可以假设应选择一个具有较大接收场大小（具有大量 3×3 卷积层）和大量参数的模型作为主干。表 1 显示了 CSPResNeXt50，CSPDarknet53 和 EfficientNet B3 的信息。 CSPResNext50 仅包含 16 个卷积层 3×3 ，一个 425×425 接收场和 20.6 M 参数，而 CSPDarknet53 包含 29 个卷积层 3×3，一个 725×725 接收场和 27.6 M 参数。这种理论上的论证，再加上我们的大量实验，表明 CSPDarknet53 神经网络是两者的最佳模型，是检测器的骨干。不同大小的接收场的影响总结如下： •取决于对象的大小-允许查看整个对象 •取决于网络的大小-允许查看对象周围的上下文 •超出网络的大小-增加图像点和最终激活之间的连接数我们在 CSPDarknet53 上添加了 SPP 块，因为它显着增加了接收域，分离出最重要的上下文特征，并且几乎不会降低网络运行速度。我们使用 PANet 作为来自不同主干级别，针对不同检测器级别的参数聚合方法，而不是 YOLOv3 中使用的 FPN。最后，我们选择 CSPDarknet53 骨干，SPP 附加模块，PANet 路径聚合瓶颈和 YOLOv3（基于锚）头作为 YOLOv4 的体系结构。将来，我们计划大幅扩展用于探测器的免费赠物袋（BoF）的内容，从理论上讲，它可以解决一些问题并提高探测器的准确性，并以实验方式依次检查每个功能的影响。我们不使用跨 GPU 批量标准化（CGBN 或 SyncBN）或昂贵的专用设备。这使任何人都可以在常规图形处理器上重现我们的最新技术成果，例如 GTX 1080Ti 或 RTX 2080Ti。 3.2 BoF 和 BoS 的选择为了改进对象检测训练，CNN 通常使用以下方法： •激活：ReLU，leaky-ReLU，参数化 ReLU，ReLU6，SELU，Swish 或 Mish• 边界框回归损失：MSE，IoU，GIoU，CIoU，DIoU •数据扩充：CutOut，MixUp，CutMix

资料库

YOLOV4论文全文翻译.pdf

相关推荐

人工智能

热门标签

最新资料