中国研究生创新实践系列大赛
中国研究生创新实践系列大赛
““华为杯华为杯””第十七届中国研究生
第十七届中国研究生
数学建模竞赛
数学建模竞赛
学
校 西安理工大学
参赛队号 20107000024
队员姓名
1.李娅静
2.杨婧
3.梁千千
中国研究生创新实践系列大赛
中国研究生创新实践系列大赛
““华为杯华为杯””第十七届中国研究生
第十七届中国研究生
数学建模竞赛
数学建模竞赛
题 目
探索大雾演化规律,预测大雾变化趋势
摘
要:
在气象检测、高速公路和航空领域中,能见度是一个极其重要的指标,其可能会引
发一系列安全问题,因此相关部分对能见度的研究也愈发重视。对此我们建立多元回归模
型和 AlexNet 卷积神经网络模型对大雾演化规律进行描述;实现了基于图像的能见度估计
方法,得到了能见度随时间变化曲线;并预测了大雾变化趋势。
针对问题一:首先对题目中的已知原始数据进行分析和预处理,其中包括剔除冗余
信息,补充缺失信息,数据的标准化处理,获得与能见度相关的地面气象观测的九个特征
指标。利用主成分分析法(PCA)进一步特征提取和降维,利用 SPSS 数据软件对指标数
据选取,收集与录入,使其累计贡献率达到 99.077%最终分析可获得与能见度关联性较强
的五个特征指标,分别为:温度,湿度,修正海平面气压,本站气压,平均风速。建立模
型描述能见度与地面气象观测值各因素之间的关系,建立多元线性回归模型用 SPSS 数据
处理软件求解回归系数,拟合 2R 值达到 0.963,使模型参数达到相对最优,拟合程度较好,
且显著性小于 0.001。
针对问题二:根据题目提供的机场数据和能见度数据,建立基于视频数据的能见度估
计模型,由于视频拍摄是在固定位置进行的,因此整个场景中变化最大的是大雾,建立神
经卷积网络模型(CNN)进行训练,将图片的变化信息与大雾浓度对应,找到大雾浓度与
能见度之间的对应关系,得出不同大雾浓度对应的能见度并且与给定数据集中的理论数据
进行比较求精度值。首先,对数据集中的数据进行预处理(由于附件中给出的数据为每 15
秒一组信息,需要求得视频的帧率,对视频帧实现跳帧操作,使得提取的图片信息与数据
集一一对应)得到 5755 组数据,补充 255 组无大雾的数据作为整个数据集,其中训练集
中包含 5155 组数据,检测集包含 845 组数据,在 Anaconda 中搭建 Tensorflow 深度学习
框架对数据集进行训练工作,训练网络得到图片中是否存在大雾,选择 AlexNet 卷积神经
网络模型,选择 ReLU 函数作为激活函数,并基于实况对卷积核进行调整,将大雾浓度分
为 A、B、C、D、E 五个等级(等级 A 大雾浓度最大,等级 E 大雾浓度最小),对该网络
模型进行一系列的参数优化和分析,损失值在 5%左右,准确率稳定在 97%—100%之间,
最后利用大雾浓度与能见度之间的关系,对模型进行参数调整训练得到每一帧图像对应的
能见度,最后与题目已知能见度(MOR 指标)对比求得精度,最大值为 0.22%,精度参数
表明所建模型性能较好,能够准确计算出不同大雾浓度因素下的能见度。
针对问题三:高速公路段只有监控视频数据,建立不依赖能见度仪观测数据的能见
度估计方法,并进行相关讨论对比;我们分别实现了无需人工标记的视频对比度道路能见
度检测和单幅雾天图像能见度估计方法,并对两个算法进行比较,前者将能见度计算转换
为图像问题,在 Visual Studio 2015 中配置 opencv3.4.2 环境,处理基于对图像的边缘检测和
SHT 检测,建立三个坐标系,根据坐标系之间的关系对相机进行标记,根据对比度与能见
度之间的关系求得能见度;后者计算图像的透视率、估计场景的景深,通过两者与能见度
之间的关系计算出能见度,并绘制出能见度随时间的变化曲线,前者无需人工标记,费用
少,误差小;后者通用性强,误差较小。
针对问题四:由于问题三得到数据量较少,因此只能采用样本较少的灰色预测模型和
时间序列模型预测大雾变化趋势。建立模型预测 2016 年 4 月 14 日上午 8 时至大雾消散时
(此时 MOR=300m)的时间段内大雾变化的趋势。利用能见度数据,结合最小二乘法原理
在 Matlab 2014a 中编程可得到参数值,灰色预测模型和时间序列模型结果都表明能见度整
体 呈 增 长 趋 势 , 大 雾 变 化 整 体 呈 减 弱 趋 势 。 灰 色 预 测 模 型 数 据 显 示 , 大 雾 消 散 时
(MOR=300m)大约为 2016 年 4 月 14 日下午 16 时。用 Matlab 2014a 建模编程后,得到
P=0.99,C=0.39,小误差概率较低,但均方差比值 C 没有达到最优值,精度检验等级参照
表见表 7.2 可知,模型预测精度一般;时间序列预测模型利用 IBM SPSS Statistics 26 建模
工具选择专家模型智能建模极大提高了建模的效率,选择的温特斯加法模型的平稳 2R 为
0.834,说明模型拟合优度较好。模型的平均绝对百分误差 MAPE 为 0.588%,误差较小。
杨—博克斯 Q(18)统计量的显著性(P 值)>0.05 则接受原假设,说明这个序列的残差符
合随机序列分布。数据显示,大雾消散时(MOR=300m)大约为 2016 年 4 月 14 日下午 15
时 42 分。
关键词:能见度;多元线性回归;AlexNet 卷积神经网络;灰色预测;时间序列预测
目录
1. 问题重述........................................................................................................................................................... 1
2. 问题假设........................................................................................................................................................... 2
3. 符号说明........................................................................................................................................................... 3
4. 问题一的模型建立与求解...............................................................................................................................6
4.1 问题分析................................................................................................................................................. 6
4.2 数据预处理............................................................................................................................................. 7
4.2.1 无用信息剔除.............................................................................................................................7
4.2.2 缺失数据处理.............................................................................................................................8
4.2.3 数据标准化..................................................................................................................................8
4.3 能见度分级特征向量提取......................................................................................................................8
4.4 模型的建立与求解............................................................................................................................... 11
5. 针对问题二模型建立和求解.........................................................................................................................13
5.1 问题分析...............................................................................................................................................13
5.2 模型建立准备.......................................................................................................................................13
5.2.1 数据集介绍...............................................................................................................................13
5.2.2 神经元模型...............................................................................................................................13
5.2.3 梯度下降思想...........................................................................................................................16
5.2.4 反向传播算法...........................................................................................................................16
5.2.5 卷积神经网络基本结构...........................................................................................................17
5.2.6 卷积层.......................................................................................................................................17
5.2.7 池化层.......................................................................................................................................18
5.2.8 全连接层...................................................................................................................................19
5.3 AlexNet 网络结构模型.....................................................................................................................19
5.4 网络训练结果分析...............................................................................................................................20
5.5 网络参数分析.......................................................................................................................................23
5.5.1 迭代次数对于网络的影响.......................................................................................................23
5.5.2 学习率对于网络的影响...........................................................................................................23
6. 问题三的模型建立与求解.............................................................................................................................24
6.1 问题分析...............................................................................................................................................24
6.2 模型一的建立和求解...........................................................................................................................24
6.2.1 模型一的建立...........................................................................................................................24
6.2.2 模型一求解...............................................................................................................................26
6.3 模型二算法实现和求解.......................................................................................................................28
6.4 模型一和模型二对比...........................................................................................................................32
7. 问题四的模型建立与求解.............................................................................................................................33
7.1 问题四的分析与假设............................................................................................................................33
7.1.1 问题分析....................................................................................................................................33
7.1.2 问题假设....................................................................................................................................33
7.2 灰色预测模型的建立与求解................................................................................................................33
7.2.1 GM(1,1)模型建立过程.............................................................................................................34
7.2.2 GM(1,1)模型求解过程.............................................................................................................36
7.3 时间序列预测模型的建立与求解........................................................................................................36
7.3.1 模型建立过程............................................................................................................................36
7.3.2 模型求解过程............................................................................................................................37
7.4 两种预测模型的对比与分析................................................................................................................39
参考文献............................................................................................................................................................... 41
附录....................................................................................................................................................................... 42
附录 1:................................................................................................................................................................ 42
附录 2:................................................................................................................................................................ 53
附录 3:................................................................................................................................................................ 59
1. 问题重述
如大家知道的一样,能见度是气象、公路行车、飞机飞行中常见指标,在高速公路的
行车安全问题中,其占据了十分重要的作用,而在航空飞行领域中,一般用能见度衡量飞
机是否可以正常飞行,而能见度一般情况下受雾和霾的影响,通过对一般情况下能见度的
研究,在机场能见度只有 400 米左右时会禁止航班正常运行,而在能见度为 600—800 时,
飞机是允许正常飞行的,入股对能见度的检测不准确或能见度预测模型不成熟的情况下回
造成大量的损失,因此,我们建立能见度模型对其进行分析并且对未来能见度数据进行预
测。
然而现阶段,我国的技术对能见度的预测并不是很成熟,若大量使用激光能见度仪对
全国高速路网进行全覆盖将耗资巨大,同时激光能见度仪还存在对团雾检测精度不高,探
测的范围很小,维护成本高等不足,后面针对此类问题研究了一种基于图像问题研究的视
频处理方法,对视频中能见度进行处理,但是这种模型仍是对视频进行间接处理,很难准
确的检测能见度,重点是只是对视频数据中少量信息进行提取后进行处理,使得大量重要
信息丢失,因此,需要建立模型,对整个视频信息的连续帧信息进行处理,得到整个视频
中的能见度信息。
为了得到能见度信息,我们需要对大气中的大雾产生以及消散情况进行分析,得到其
规律并进行后续处理,针对以上我们需要解决一下问题:
问题一:由于雾的产生和消散与地面的气象有关,需要建立模型研究能见度与地面气
体检测值如湿度、温度和风速等之间的关系模型,并针对已知的数据进行检测得到具体的
关系式。
问题二:由于问题只是得到了简单的数学模型进行检测,在此基础上可以研究给出深
度学习模型,利用已知的数据信息进行能见度的检测和分析。
问题三:在实际的视频中可以对能见度进行检测,但是由于不同物体的景深不同,其
能见度值也不同,因此可以通过设计算法计算出视频中不同物体的景深,针对已知的视频
进行能见度的检测并绘制出能见度随时间变化曲线。
问题四:利用第三问得到时间变化曲线,得到其对应的变化规律进而对大雾变化趋势
进行预测,进而得到能见度信息。
1
2. 问题假设
(1)假设能见度只与题目已知因素有关,不受其他因素影响;
(2)假设大雾消散标准为能见度 300 米;
(3)同时假设不考虑其它随机因素的影响;
(4)假设能见度只与大雾浓度有关,能见度的预测值较好地反映了大雾变化的趋势;
(5)由于第三问数据自变量只能代表某天的一段时间内的能见度,不能反映季节差异,
因此排除季节效应;
(6)假设能见度达到 300 米时,大雾消散。
2
3. 符号说明
符号
X(n*p)矩阵
*
ijx
R
(
p
1
,...,
,
2
)
a
i
(
,
aa
1
i
i
2
,...,
a
ip
(i
)
1,2,...,
p)
0b
kbk
(
,...,3,2,1
n
)
e
XX
,
1
2
X
n
,,
i
2
1
)(f
Y
A、B、C、D、E
L
z
f
s
),( vcf g
),(
rcfe
(
,
)
ZYX
,
PCA
算法
问题一
模型建
立
问题二
模型建
立
针对问
题三模
型一
(
ZYX
,
,
i
i
)
i
3
符号说明
样本观测矩阵
原始数据标准化处理后的数据
相关性系数矩阵
特征值向量
特征向量
回归常数
回归参数
随机误差
输入信号
连接权向量
阈值(偏置)
传递函数
神经元输出
大雾浓度等级
损失函数
激活函数
滤波器大小
步幅
垂直方向和水平方向梯度比
原始背景图像
路面坐标系
摄像机坐标系