华 中 科 技 大 学
研 究 生 课 程 考 试 答 题 本
考生姓名
考生学号
系、年级
类 别
考试科目
流媒体技术
考试日期 2017 年 12 月 18 日
评
分
题 号
得 分
题 号
得 分
1
2
3
4
5
总 分:
评 卷 人:
注:1、无评卷人签名试卷无效。
2、必须用钢笔或圆珠笔阅卷,使用红色。用铅笔阅卷无效。
2017 年秋季《流媒体技术》试题
此页必须单面打印, 装订在封一封二之后. 其它页面必须双面打印.
1.
(1) 请写出 JPEG 压缩编码的量化矩阵. 针对不同频率分量的 DCT 系数, 分析不同的量化策略.
(2) 在提供的图像中任选一幅, 量化参数为 0.5, 请给出 Y 分量经过 DCT 变换、量化以及反变换
后的结果. (要求贴原图, 保持版面美观整洁)
(3) 对原图的 RGB 分量分别做 DCT 变换、量化、反量化、反变换, 量化参数选 1、2、4、8, 计
算平均每个像素的 bit 数与 PSNR. (用电子表格列出)
(4) 对原图的 YUV 分量分别做 DCT 变换、量化、反量化、反变换, 量化参数选 1、2、4、8, 计
算平均每个像素的 bit 数与 PSNR. (用电子表格列出)
(5) 在量化参数 1、2、4、8 下分别计算 RGB 分量三者的平均 bit 数与 PSNR, 并画出一条 Rate
Distortion 曲线. 在量化参数 1、2、4、8 下分别计算 YUV 分量三者的平均 bit 数与 PSNR, 并
画出一条 Rate Distortion 曲线. 通过对 RD 曲线的分析, 说明为什么在压缩编码时需要把 RGB
格式的图像转换到 YUV 格式.
(6) 请借助于图像的显著性分析, 找出图像中的感兴趣区域, 并贴出原图与检测结果. 设计一种
有差别的量化方案, 在量化参数选 4 时, 分析 Y 分量在有差别量化与无差别量化时的 RD 性
能与主观质量的差别.
(1) 请画出任意一种尺度函数与小波函数. (Matlab 画图, 存为 EMF 图像格式再贴入答题纸)
(2) 请通过程序分析, 写出画以上波形的基本算法与流程.
(1) 在提供的 3 层径向基函数网络基础上, 实现 4 层的学习, 并贴出增加层的反向传播代码.
(2) 贴出 1 万次迭代后的学习误差图 (Matlab 画图, 存为 EMF 图像格式再贴入答题纸)?
(3) 如果把径向基函数网络改成深度卷积网, 请问需要对径向基函数网络做哪些改变, 从输入数
据的格式、核函数的形式、核函数与特征图之间的操作、各层 δ 在反向传播时候与核函数间
的操作等方面展开.
(4) 以提供的软件 DemoCNN 为平台, 在 RGB 与 Lab 颜色空间下预测某幅图像的关注区域(贴原
图与检测结果图), 并进一步说明哪种颜色空间更适合于解决视频内容的优先传输问题.
(1) 根据提供的论文, 简述 BPS 显著性检测的基本原理. 并回答一般有哪些通用的测试数据集?
(2) 任选一幅提供的图像, 用嵌入在 DemoSeamCarving 中的显著性检测算法做图像显著性检测,
并贴出原图与显著性检测的结果. 以 Ground truth 为依据, 画出检测结果的 ROC 曲线.
(1) 请回答视频在 YUV 颜色空间中的 4:2:0 与 4:2:2 格式是什么意思?
(2) 请回答分辨率格式为 CIF 的视频画面的边长, 并分析它们为什么会是 16 的倍数.
(3) 请用 JM 参考软件, 任选一个 CIF 大小的 4:2:0 的 YUV 格式的视频序列, 在量化参数为 20、
24、28、32 时, 计算在各个量化参数下的 PSNR 与 Bite rate, 并画出 RD 曲线?
2.
3.
4.
5.
(4) 请分析在不同量化参数下的编码的速度. 并用率失真公式 J D Rλ
=
+ 解释量化参数与编码速度
之间的关系.
题
号
回
答 内
容
得
分
1.(1)JEPG 压缩编码的量化矩阵:
低压缩量化矩阵:
16
12
14
14
18
24
49
72
11
12
13
17
22
35
64
92
10
14
16
22
37
55
78
95
16
19
24
29
56
64
87
98
24
26
40
51
68
81
103
112
40
58
57
87
109
104
121
100
51
60
69
80
103
113
120
103
61
55
56
62
77
92
101
99
高压缩量化矩阵:
17 18 24 47 99 99 99 99
18 21 26 66 99 99 99 99
24 26 66 99 99 99 99 99
47 66 99 99 99 99 99 99
99 99 99 99 99 99 99 99
99 99 99 99 99 99 99 99
99 99 99 99 99 99 99 99
99 99 99 99 99 99 99 99
针对不同频率分量的 DCT 系数,不同的量化策略:
所谓量化就是用像素值/量化表对应值(量化步长)所得的结果。由于
量化表左上角的值较小,右上角的值较大,这样就起到了保持低频分量,抑
制高频分量的目的。JEPG 使用的颜色是 YUV 格式。所说的量化表通常有
两张,一张是针对 Y 的(低压缩),另一张是针对 UV 的(高压缩);因为 Y
分量相比 UV 分量对人眼更重要,因此我们对 Y 采用细量化,对 UV 采用
粗量化,可进一步提高压缩比。
比如低压缩量化表,最右下角的高频÷99,这样原先 DCT 后[-127,127]
的范围就接近变成了[-1,1],固然减少了码字(从 8 位减至 1 位)。这样做,
也是为了在一定程度上得到相对清晰的图像和更高的压缩率。另一个重要原
因是所有的图片的点与点之间会有一个色彩过渡的过程,而大量的图象信息
被包含在低频率空间中,经过 DCT 处理后,在高频率部分将出现大量连续的
零。
1.(2)选择原图:
对 Y 分量做 DCT 变换:
量化后:
反变化后:
1.(3)选用 1.(2)的原图,对原图的 RGB 分量分别做 DCT 变换、量化、反量化、反变
换,平均每个像素的 bit 数与 PSNR 如下表:
2
1.22347
27.5328
1.22277
27.5126
1.21106
27.532
量化参数
bit/pixels
PSNR(dB)
bit 数
PSNR(dB)
bit 数
PSNR(dB)
4
0.740116
25.5587
0.735881
25.5538
0.731628
25.5743
8
0.404041
23.4939
0.401494
23.4945
0.397173
23.5003
R 分量
G 分量
B 分量
1
1.90604
29.4295
1.90958
29.3764
1.88584
29.468
1.(4)选用 1.(2)的原图,对原图的 YUV 分量分别做 DCT 变换、量化、反量化、反变
换,平均每个像素的 bit 数与 PSNR 如下表:
2
1.22144
27.496
0.244173
43.1988
0.280874
42.4974
量化参数
bit/pixels
PSNR(dB)
bit 数
PSNR(dB)
bit 数
PSNR(dB)
1
1.91776
29.3271
0.332073
47.6061
0.372814
46.4747
4
0.73308
25.5422
0.183102
39.1537
0.207225
37.5865
Y 分量
U 分量
V 分量
8
0.39866
23.4947
0.148371
35.6693
0.155602
33.1713
1.(5)
a)在量化参数 1、2、4、8 下分别计算 RGB 分量三者的平均 bit 数与 PSNR,
如下表所示,并画出一条 Rate Distortion 曲线如下图所示:
b)在量化参数 1、2、4、8 下分别计算 YUV 分量三者的平均 bit 数与 PSNR,
如下表所示,并画出一条 Rate Distortion 曲线如下图所示:
量化参数
bit/pixels
PSNR(dB)
bit 数
PSNR(dB)
bit 数
PSNR(dB)
表:RGB 分量三者的平均 bit 数与 PSNR
1
1.90604
29.4295
1.90958
29.3764
1.88584
29.468
2
1.22347
27.5328
1.22277
27.5126
1.21106
27.532
4
0.740116
25.5587
0.735881
25.5538
0.731628
25.5743
8
0.404041
23.4939
0.401494
23.4945
0.397173
23.5003
表:YUV 分量三者的平均 bit 数与 PSNR
量化参数
bit/pixels
PSNR(dB)
bit 数
PSNR(dB)
bit 数
PSNR(dB)
1
1.91776
29.3271
0.332073
47.6061
0.372814
46.4747
2
1.22144
27.496
0.244173
43.1988
0.280874
42.4974
4
0.73308
25.5422
0.183102
39.1537
0.207225
37.5865
8
0.39866
23.4947
0.148371
35.6693
0.155602
33.1713
R 分量
G 分量
B 分量
Y 分量
U 分量
V 分量
平均值
1.068417
26.5037
1.067431
26.4843
1.056425
26.5187
平均值
1.06774
26.465
0.22693
41.407
0.254129
39.9325
图:RGB 分量 Rate Distortion 曲线
图:YUV 分量 Rate Distortion 曲线
c) 通过对 RD 曲线的分析,说明为什么在压缩编码时需要把 RGB 格式的图
像转化为 YUV 格式?
答:PSNR 反应保留图片的信息量,bit 数反应了存储每个像素所用的