图像增强技术概况 1 图像增强的背景 随着近几年移动互联网的普及，图像已经成为我们学习、工作和娱乐最重要 的媒介之一。人们因此也对图像的质量提出了更高的要求。图像增强也就自然而 然地成为现代机器视觉领域中最重要的技术之一。图像增强方法一般需要关注几 点：(1)增强的图像整体上符合人们的视觉感观，让人感觉自然；(2)在增强图像 有效信息的同时应抑制噪声，如不能除去噪声，应保证不放大噪声，从而避免影 响图像质量；(3)增强图像应有效地提高图像的对比度，使图像灰度级分布范围 广，避免图像部分区域过暗或过亮失去图像信息；(4)针对不同运用场景，应做 出不同的增强策略，比如医疗图像，可能更倾向于增强某个区域的细节；(5)在 满足要求情况下，尽量优化算法，减少算法复杂度，提高速度，以达到实时性要 求。 进入 21 世纪以来，高科技产品正逐渐改变人们的生活习惯，成为日常生活 中不可缺少的一部分。作为现代人们信息传递的重要方式之一，数字图像已经在 人类生活娱乐，医学应用，安保监控，国防科技和农业科学等多个方面得到了广 泛的应用和重视。 然而从相机获取图像到将图像传输到接收方的过程中由于受到拍照环境以 及相机硬件等多方面条件限制，最后获取到的图像有时不如人意，比如经常出现 一张照片中有些区域过亮或者过暗等情况，从而丢失了很多图像本应有的信息。 图像增强技术正是致力于保留原始图像的基本信息，减弱客观条件对图像质量的 影响，最终得到人们满意的高质量图像。图像增强技术已经应用到生活娱乐、遥 感图像、天文观测、医学应用以及人工智能等多个领域。 在生活娱乐方面，人们往往喜欢在社交网络等平台分享包括旅行、聚会以及 工作时的照片。这也是在 21 世纪移动互联网时代形成的一种生活新潮流。获得 的高质量的图像也就已经成为人们对拍照基本要求。因此在不仅在专业的相机市 场，在本来以通信为主要功能的手机市场，拍照性能也成为了人们选取手机的重 要参考指标。在医疗图像增强方面，对病人的 CT 图像和超声图像进行增强，凸 显需观察部位信息，便于医生做出正确的诊断。在天文、遥感图像处理方面，因 其获取的图像的特殊性，需根据不同场景应用不同的增强方法，以便研究人员获 取到更多的信息。在人工智能应用方面，目标检测和图像识别等各个任务中都经 常会对原始图像先做图像增强等预处理以便下一步的准确进行。 2 图像增强的研究现状 图像增强的应用场景多数是希望可以增强图像对比度，突出图像的细节信 息，同时又能尽量不放大噪声。增强图像还需符合人们的视觉感观，拥有良好的 视觉效果。因此人们一直在往这方面努力，不断提出了很多优秀的算法。图像增 强技术可以分为两类：基于数字图像处理的传统方法和基于深度学习的方法。 自数字图像技术发展几十年以来，研究人员先后提出了大量的基于数字图像 处理理论的图像增强方法。运用比较多的包含有空间域的直方图均衡化、伽马变 换和多曝光图像增强以及变换域的小波变换增强和基于 Retinex 理论的增强等。 1 

直方图均衡化算法（Histogram Equalization, HE）是最为基础的图像增强方 法，它通过调整图像灰度级的概率密度函数倾向于均匀分布从而使得图像有更大 的亮度范围，对比度也明显提高，从而实现增强图像的目的。由于直方图均衡化 的方法具有复杂度小，实现简单和运行快的优点，所以后续研究者们提出了很多 各具特点的直方图均衡改进算法，比如：双直方图均衡( BBHE) 方法，可以减弱 出现一些区域明暗不均的问题； 基于对数函数变换的直方图均衡(LMHE)方法则 可以让增强的图像显得更为自然，达到人们的审美要求。在 1999 年 Wan 等人提出二维子图直方图均衡算法(DSIHE)。接着 Chen 和 Ramli 提出最 小均方误差双直方图均衡算法(MMBEBHE)。为了保持图像亮度特性，许多学者 转而研究局部增强处理技术，提出了许多新的算法：递归均值分层均衡处理 (RMSHE)、递归子图均衡算法(RSIHE)、动态直方图均衡算法(DHE)、保持亮度 特性动态直方图均衡算法(BPDHE)、多层直方图均衡算法(MHE)、亮度保持簇直 方图均衡处理(BPWCHE)等等。 多曝光图像增强目标则是使图像能够呈现更大的动态范围，尽量不丢失过亮 和过暗区域的纹理。它需要提供多张不同曝光的图片，然后运用优秀的融合算法 将多张图像融合达到增强的目的。国内外的众多科研工作者就多曝光图像增强方 法做了相关研究，并提出了众多算法，如 Zhou 等提出的基于图像分区域处理的 多曝光图像融合算法，Mertens 等提出的基于金字塔的多曝光图像融合算法和 Liu 等利用图像的尺度不变特征变换(SIFT)实现多曝光图像融合算法等。 自法国工程师 J.Morlet 在 1974 年提出小波变换的相关理论后，图像处理专 家将这一理论用到图像处理领域。小波分析的应用是与小波分析的理论研究紧密 地结合在一起地。现在，它已经在科技信息产业领域取得了令人瞩目的成就。电 子信息技术是六大高新技术中重要的一个领域，它的重要方面是图象和信号处 理。现今，信号处理已经成为当代科学技术工作的重要部分，信号处理的目的就 是：准确的分析、诊断、编码压缩和量化、快速传递或存储、精确地重构（或恢 复）。从数学地角度来看，信号与图象处理可以统一看作是信号处理（图象可以 看作是二维信号），在小波分析地许多分析的许多应用中，都可以归结为信号处 理问题。现在，对于其性质随实践是稳定不变的信号，处理的理想工具仍然是傅 立叶分析。但是在实际应用中的绝大多数信号是非稳定的，而特别适用于非稳定 信号的工具就是小波分析。此类图像增强算法一般是通过小波变换将图像分为低 频和高频部分，低频段主要包含图像的信息，高频段则包含有一些噪声和边缘信 息，所以可以通过对低频段的图像进行非线性等增强处理，对高频段信息则通过 小波变换的去噪处理进而实现图像增强。 Retinex 理论是一种建立在科学实验和科学分析的基础上的基于人类视觉系 统(Human Visual System)的图像增强理论。其本质思想是从原图像中估计入射光 分量,继而从原始图像中去除入射光分量，从而保留了反应物体内在属性的反射 分量，即图像的本来面貌。是由 Edwin.H.Land 于 1977 年提出的。与传统的图像 增强算法不同的是，Retinex 算法可以在动态范围压缩，边缘增强和颜色恒常性 三方面达到平衡，因此可以对各种不同类型的图像进行自适应性地增强。正因为 Retinex 诸多良好的特性，使 Retinex 算法在很多方面得到了广泛的应用。Retinex 算法根据估计入射光分量的路径不同,可以分为基于迭代的 Retinex 算法和基于 中心环绕的 Retinex 算法。众多研究人员提出多种基于 Retinex 理论的增强算法。 如单尺度 SSR(Single Scale Retinex)，多尺度 MSR(Multi-Scale Retinex)和带颜色 恢复的 MSR 方法 MSRCR(Multi-Scale Retinex with Color Restoration)等。 2 

随着这几年深度学习技术的飞速发展，很多研究者也把相关技术运用到了图 像增强领域。基于深度学习的方法整体可以分为三类：基于图像风格迁移的方法， 基于 HDR 域调整处理的方法和基于渐进式调整的方法。借助于对抗生成网络 (Generative Adversarial Networks, GAN)优秀的图像生成能力，Jun-Yan Zhu 等人 提出的循环对抗生成网络(CycleGAN)将图像增强当作是一种图像的风格迁移任 务，输入低质量的图像通过生成器生成增强图，将增强图和对应的高质量图像混 合输入至判别网络判别，联合对抗训练，最后使得生成器可以生成高质量图像分 格的图像。此后很多研究者参考 CycleGAN 的方法，将图像增强当作是一种风格 迁移，联合对抗生成网络生成图像。基于 HDR 域的图像增强的方法从相机成像 原理出发，考虑在转换为显示屏显示的图像前图像源数据进行处理，最后将处理 得到的 HDR 域数据转换为 LDR 域可显示的增强图片。谷歌提出的 HDR+算法和 发表在 CVPR2018 的 DRHT 都属于此类方法。基于渐进式调整的方法一般是通 过神经网络学习出一系列图像处理的参数，运用这些参数逐步调整原图像，最后 得到高质量的图像。这类方法经常运用深度强化学习的方法学习这一系列图像处 理的参数，最后生成人们满意的高质量图像。微软亚洲研究院在 SIGGRAPHA2018 提出的 ExposureGAN 算法和英伟达研究院在 CVPR2018 提出 的将深度强化学习用在颜色增强的 Distort-and-Recover 算法都是基于渐进式调整 的图像增强算法。 3