低照度增强调研情况
基于直方图均衡的方法
直方图均衡化的思想就是将图像的灰度直方图从较为集中的某灰度区间拉伸至全部灰
度范围内,用以扩大图像灰度值的范围,提升图像对比度并突出部分细节效果。对于一副图
片来说其直方图可以用来表示灰度值的分布。其中如果大部分像素集中在低灰度区间则图片
整体较暗,相反则图片较亮。所以我们可以对于灰度分布图采用均衡化的方法将其灰度的分
布范围在整个区域平均化,这样就相当于减少了低灰度的像素个数,整个图片就会变亮一些。
假设一副图片中的灰度级是[0, L-1],则直方图的值可以表示为:
(
)k
h r
n
k
其中 kr 为第 k 级灰度值, kn 为图像中灰度为 kr 的像素个数。直方图的均衡化方式为:
( )
s T r
L
(
1)
p
r
其离散形式为:
(
,0
d
)
r
1
s
(
L
1)
ix
h
i
w h
i
0
其中 ih 表示该灰度级出现的数目, ,w h 分别表示该图片对应的宽和高。这样变化完之后整
个图片的灰度概率就满足均匀分布。
基于 Retinex 的方法
Retinex 方法主要是基于人类的视觉系统可以不受光源强度和照射不均匀等不确定因素
的干扰而准确感知物体的颜色和亮度这一理论提出的。提出这一理论主要是基于真实世界中
物体的颜色由光与物体的相互作用产生的,其本身是无颜色的;构成颜色的基本单元是红、
绿、蓝三原色光波、单位区域的颜色由红绿蓝三原色光波决定这几个理论。
根据上述理论,我们可以得出物体的颜色不受反射光强和非均匀光照的影响仅有物体的
反射光线决定。基于此,我们假设如下公式: ( ,
I x y
)
)* ( ,
( ,
R x y L x y
)
,其中 ( ,
I x y 表
)
示视觉系统最终的图片(人看到的图片), ( ,
R x y 表示物体特有的性质称为物体的反射特
)
性,
,L x y 表示入射光的影响。根据公式我们需要的是 ( ,
R x y ,已知的是 ( ,
I x y ,需要
)
)
估计的是
,L x y 。
为了简化计算,我们对上式两边同时取对数(乘除变加减)则可以得到:
log
I
log( )
L
log(
R
)
log(
R
)
log( ) - log( )
L
I
由上式可知,我们只需要估计出
采用高斯卷积函数进行:
,L x y 就可以得到对应的 ( ,
R x y 。对于
)
,L x y 的估计
( ,
L x y
)
( ,
)* ( ,
I x y F x y
)
其中 ( ,
F x y 表示的是高斯函数,*表示卷积运算。 ( ,
F x y 的表达式为:
)
)
( ,
F x y
)
Ke
(
x
2
y
2
)
2
K 表示的是一个尺度,表示高斯函数的尺度选择,其满足
是需要求的。因此对于一个彩色通道的图片,其某一通道 c 对应的图像变换后为:
F x y dxdy
1
,
。该式中 K
log(
R x y
c
( ,
))
log(
I x y
c
( ,
)) - log(
I x y F x y
c
)* ( ,
( ,
))
然后在利用
( ,
cR x y
)
e
log(
( , ))
cR x y
后的值进而得到处理后的图片。
就可以求出每一个通道的值。最终就得到了每个通道处理
上述方法采用了一个高斯核,因此一般被称为单尺度 Retinex 方法(SSR)。现在假设整
个过程采用了 n 个高斯核,则每个 R 在评估的时候就会出现 n 个不同的值,如果把这些值
综合起来就行成了多尺度的 Retinex 方法(MSR),其具体公式如下: i表示权重。
,
R x y
c
n
i
1
( ,
R x y
)
i
i
由于 MSR 会存在色差,有人提出来在通道上加入调节因子来消除色差,其具体如下:
R
MSRCR
=C ( ,
)
x y R
i
MSR
( ,
x y
)
iC 表示的是调节因子,其对应的取值方式不同往往会产生不同的效果。现在常用的有基于
其各通道的均值 ,方差计算出最小值和最大值,然后用最小值和最大值进行归一化。
Min Mean Dynamic Var
*
Max Mean Dynamic Var
+
*
-
-
) / (
)
(
( ,
R x y
Value Min Max Min
255
( ,
)
255) ( ,
)
(
R x y
if
R x y
) 0) ( ,
( ,
) 0
(
R x y
R x y
else if
)*255
其中 Dynaic 取值越小,增强效果越明显,一般取 2-3 最适宜。
基于去雾模型的图片增强
去雾模型一般是针对雾霾或者大雾天气,考虑到空气中的悬浮物导致的图片效果不佳时
需要采用的方法。该方法假设:
I x
( ) ( )
J x t x
(1
A
( ))
t x
其中 ( )
I x 表示待去雾的图像, ( )
J x 表示无雾图像, A 表示全球大气光成分,t 表示折射率
(大气传递系数)。在使用过程中 ( )
J x 是要求的, ( )
I x 为输入的,A 和t 是需要通过暗通道
先验来进行估计的。
暗通道先验规律是指每一个图片的局部区域都很有可能有至少一个颜色通道有很低的
值。根据这个规律我们定义了暗通道的值如下:
dark
J
( ) min ( min
x
,
,
c
r g b
y
( )
x
J
c
( ))
y
通过上式可以看出,求暗通道的值首先是求出通道的最小值。在根据通道最小值求出区域内
的最小值。
根据暗通道的值我们可以估计大气折射率:
( ) 1
t x
min (min
y
c
(x)
I
c
( )
y
c
A
)
根据暗通道的值估计大气光:
(1):选取暗通道图像中暗通道最亮的 0.1%。
(2):在取出的位置中,对应到原图找出最高亮度点的值作为大气光。
然后回带到开始的式子中就可以求出对应的去雾图 ( )
J x :
( )
J x
( )
I x
A
max( ( ),
t x t
)
0
A
基于深度学习
使用卷积神经网络来进行低照度增强的资料较少,目前只发现了一种方式,并且也没有
固定的官方模型,只是一个简单的 7 层卷积网络,由于图片增强的目的是把亮度低的地方亮
度变高,所以该模型要求输出的大小和原来的相同,因此该网络没有池化层。其具体结构如
下:
上述就是采用的网络结构,由于图片增强的目的只是为了提高亮度,同时并不希望色彩
方面的值发生改变而引起不必要的色彩差异。因此本次采用的是将 RGB 色彩空间转化为 HSI
空间,然后再对 I 分量进行卷积处理,最后再转换成 RGB 空间合成最后的图片。其具体流
程如下:
上述方法初步效果
原图
MSR,Sigma1=10
MSR,Sigma1=30
MSR,Sigma1=30,另一种高斯核
MSRCR,Sigma1=3
0
HE