"华为杯"第十四届中国研究生数学建模竞赛
(由组委会填写)
参赛密码
““华华为为杯杯””第第十十四四届届中中国国研研究究生生
数数学学建建模模竞竞赛赛
学 校
战略支援部队信息工程大学
参赛队号
队员姓名
90005013
1.王亚文
2.杨超
3.吴奇
1
(由组委会填写)
参赛密码
““华华为为杯杯””第第十十四四届届中中国国研研究究生生
数数学学建建模模竞竞赛赛
题 目 基于监控视频的前景目标提取
摘 要:
通常,在计算机视觉领域中,研究者将毎一侦图像中的显著运动部分称为前
景,而把当中静止的部分称为背景。本文针对基于监控视频的前景目标提取问题,
使用了前景背景分离模型、模糊更新模型、特征点轨迹消抖模型、目标存在概率
场模型、瞬时能量模型等并结合随机样本聚类,Mean-Shift 等方法,依托 OpenCV
开源库,利用 matlab 和 VC 编写算法,分别实现在静态背景下,动态背景下,
摄像镜头晃动情况下,多摄像头视角下的前景目标提取,以及视频中的异常事件
检测。
针对问题一——静态背景下的前景提取问题,我们采用基于样本随机聚类的
方法构建背景模型,并基于该模型实现前景背景分离。由于问题一中视频较短,
无法提供足够长度的历史数据初始化模型,因此采用基于单帧数据的模型初始
化,利用少量数据快速构建背景模型。此外为了能够持续的将背景和前景进行分
离,我们还对背景模型进行持续的更新。
2
针对问题二——动态背景下的前景提取问题,我们针对动态场景中部分物体
存在扰动的特点,在问题一方法的基础上结合模糊更新准则,自适应的改变背景
模型的检测阈值和更新频率,进而提高动态场景中前景提取的准确性和鲁棒性。
针对问题三——抖动背景下的前景提取问题,我们结合视频中前景、背景目
标的运动量具有显著区别的特点,利用历史数据构建特征点轨迹模型,有效对视
频的前背景进行区分,并根据捕获轨迹的抖动量,进行抖动补偿,构建视频消抖
模型,降低视频抖动对前景提取带来的不良影响。
针对问题四,我们利用所构造的模型对八组视频进行前景提取,取得了很好
的效果,模型的平均前景提取精确度达到了 90%以上。
针对问题五——多视角的运动目标检测问题,我们基于目标存在概率场模型
进行多视角的运动目标检测,根据成像原理构建目标窗结构,进而结合目标窗结
构的子窗在各视角的图像中包含的图像区域,计算出目标在各个位置存在的概
率,获得概率图,然后利用 Mean-Shift 算法搜索出局部概率最大的点,该点即为
多视角场景下运动目标最可能出现的位置。
针对问题六——视频中的异常事件检测问题,我们首先对视频图像进行网格
化处理,并在网格单元内提取特征点,进而基于特征点利用光流法构建运动模型。
最后根据动能公式,将运动模型转换成能量模型,并根据视频中计算出的能量值
检测出视频中是否出现异常事件。
3
目 录
1 问题重述
1.1 问题背景
1.2 需要解决的问题
2 问题一的建模与求解
2.1 问题分析
2.2 模型建立
2.3 基于样本随机聚类的背景模型构建方法
2.4 基于单帧数据的模型初始化
2.5 背景模型更新
2.6 模型工作流程
2.7 问题求解及分析
3 问题二的建模与求解
3.1 问题分析
3.2 模型初始化
3.3 基于样本随机聚类的自适应匹配模型
3.4 背景模型更新
3.5 模糊更新准则
3.6 模型工作过程
3.7 问题求解及分析
4 问题三的建模与求解
4.1 问题分析
4.2 特征点轨迹模型
4.3 前景特征匹配模型
4.3.1 单应矩阵重映射
4.3.2 基于单应矩阵重映射的前景轨迹识别
4
9
9
9
10
10
10
10
11
12
13
13
15
15
16
16
17
18
18
18
19
19
19
20
20
21
4.3.3 基于历史行为的单应矩阵前景轨迹识别模型
4.4 视频消抖模型
4.5 模型工作流程
4.6 问题求解及分析
5 问题四(8 组视频分组标注)
5.1 CAMPUS 视频标注及分析
5.2 CURTAIN 视频标注及分析
5.3 ESCALATOR 视频标注及分析
5.4 FOUNTAIN 视频标注及分析
5.5 HALL 视频标注及分析
5.6 LOBBY 视频标注及分析
5.7 OFFICE 视频标注及分析
5.8 OVERPASS 视频标注及分析
5.9 综合分析
6 问题五的建模与求解
6.1 问题分析
6.2 基于目标存在概率场模型的多视角前景目标提取算法
6.2.1 目标存在概率场模型
6.2.2 目标窗结构模型
6.2.3 计算目标存在概率
6.2.4 多视角前景目标提取算法流程
6.3 模型工作流程
6.4 实验分析
7 问题六的建模与求解
7.1 问题分析
7.2 基于光流能量模型的异常事件检测方法
7.2.1 基于像素统计分布的运动特征点提取
7.2.2 基于光流法的运动模型构建
7.2.3 基于瞬时能量模型的异常事件检测方法
7.3 模型工作流程
5
22
22
24
24
25
25
27
28
29
30
31
32
33
34
35
35
35
35
36
36
37
38
38
39
39
39
39
40
42
44
44
45
46
47
7.4 实验分析
8 模型评价
9 参考文献
10 附录
6
图 录
图 1 像素
的分类过程 ............................................................................... 11
图 2 像素
的 8 个相邻域 ............................................................................ 12
图 3 静态背景下前景提取方法流程图.............................. 13
图 4 视频 Hall 测试效果 ................................................................................... 14
图 5 视频 Office 测试效果 ............................................................................... 14
图 6 视频 Pedestrian 测试效果 ......................................................................... 14
图 7 视频 Smoke 测试效果 .............................................................................. 15
图 8 视频 Airport 测试效果 .............................................................................. 15
图 9 动态背景下前景提取流程图.................................................................... 18
图 10 视频 WaterSurface 测试效果 .................................................................. 19
图 11 基于历史行为的单应矩阵前景轨迹识别模型的工作流程 .................. 22
图 12 背景平滑示意图...................................................................................... 23
图 13 抖动背景下的前景提取方法流程图...................................................... 24
图 14 视频 Car6 测试效果 ................................................................................ 24
图 15 视频 Car7 测试效果 ................................................................................ 24
图 16 视频 People1 测试效果 ........................................................................... 25
图 17 视频 People2 测试效果 ........................................................................... 25
图 18 Campus 视频中插入帧的内容 ................................................................ 27
图 19 Curtain 视频中插入帧的内容.................................................................. 28
图 20 Escalator 视频中插入帧的内容 ............................................................... 29
图 21 Fountain 视频中插入帧的内容 ............................................................... 30
图 22 Hall 视频中插入帧的内容 ....................................................................... 31
图 23 Lobby 视频中插入帧的内容 ................................................................... 32
图 24 Office 视频中插入帧的内容 ................................................................... 33
图 25 Overpass 视频中插入帧的内容 ............................................................... 34
图 26 目标存在概率场示意图.......................................................................... 36
图 27 多视角前景目标提取方法流程图.......................................................... 38
图 28 多视角前景提取与匹配.......................................................................... 39
图 29 特征点分布图............................................. 40
图 30 异常事件检测方法流程图................................... 44
图 31 异常事件检测.......................................................................................... 45
7
vxvx
表 录
表 1 Campus 视频中实际出现前景的帧数 ...................................................... 26
表 2 Campus 视频中检测出前景的帧数 .......................................................... 26
表 3 Campus 视频中出现插入帧的帧数 .......................................................... 26
表 4 Curtain 视频中实际出现前景的帧数........................................................ 27
表 5 Curtain 视频中检测出前景的帧数............................................................ 27
表 6 Curtain 视频中出现插入帧的帧数............................................................ 27
表 7 Escalator 视频中实际出现前景的帧数 ..................................................... 28
表 8 Escalator 视频中检测出前景的帧数 ......................................................... 28
表 9 Escalator 视频中出现插入帧的帧数 ......................................................... 28
表 10 Fountain 视频中实际出现前景的帧数 ................................................... 29
表 11 Fountain 视频中检测出前景的帧数 ....................................................... 29
表 12 Fountain 视频中出现插入帧的帧数 ....................................................... 29
表 13 Hall 视频中实际出现前景的帧数 ........................................................... 30
表 14 Hall 视频中检测出前景的帧数 ............................................................... 30
表 15 Hall 视频中出现插入帧的帧数 ............................................................... 31
表 16 Lobby 视频中实际出现前景的帧数 ....................................................... 31
表 17 Lobby 视频中检测出前景的帧数 ........................................................... 31
表 18 Lobby 视频中出现插入帧的帧数 ........................................................... 32
表 19 Office 视频中实际出现前景的帧数 ....................................................... 32
表 20 Office 视频中检测出前景的帧数 ........................................................... 32
表 21 Office 视频中出现插入帧的帧数 ........................................................... 32
表 22 Overpass 视频中实际出现前景的帧数 ................................................... 33
表 23 Overpass 视频中检测出前景的帧数 ....................................................... 33
表 24 Overpass 视频中出现插入帧的帧数 ....................................................... 33
表 25 8 组视频前景匹配精确度........................................................................ 34
8