主要学习内容
论文名
出版时间
期刊
关键字
论文的几块工作
Detecting Spacecraft Anomalies Using LSTMs
异常检测+神经网络
论文一
and Nonparametric Dynamic Thresholding
2018
KDD
+RNNs+LSTM+航空航天+
基于LSTM和非参数阈值的航天器异常检测
时间序列+预测
论文二
MAD-GAN: Multivariate Anomaly Detection
for Time Series Data with Generative
Adversarial Networks
利用GAN对时间序列数据进行多元异常检测
Robust Anomaly Detection for Multivariate
Time Series through Stochastic Recurrent
Neural Network
基于随机递归神经网络的多元时间序列鲁
论文三
(粗看)
棒异常检测
2019
ICANN
异常检测+多元时间序列+
网络入侵+GAN
2019
KDD
异常检测+多元时间序列+
随机模型+递归神经网络
•
LSTM单通道预测
• 误差的平滑处理
+定义误差阈值
的思想
• 假异常的剔除
(修剪策略)
• GAN的无监督
(LSTM-RNN捕获时
间相关性)
• DR评分判别异常
• 子序列的形成
• GRU
• OminAnomaly
• 平面NF
• 随机变量连接
• 自动阈值选择调
整峰值
Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding
(基于LSTM和非参数阈值的航天器异常检测)
• 2018
• KDD
• Anomaly detection+Neural networks+RNNs+LSTMs+
Aerospace+Time-series+Forecastin
(异常检测+神经网络+RNNs+LSTM+航空航天+时间序列+预测)
一、概括
1、研究对象:航天器发回的遥测数据
判断 是否存在异常
2、目标:改进异常检测系统
3、方法:LSTM+无监督+非参数异常阈值设定
预测
计算阈值,高于阈值标为异常
4、结论:LSTM在预测航天器遥测方面具有可行性,并且非参数异常阈值设定不依赖稀缺的
标签或虚假的参数设定。
二、相关研究工作
1、现有航天器遥测的异常检测技术
数值偏离预定限值时的分层报警
可视化人工分析和综合信道统计
专家系统和最近邻方法(少数)
存在的缺陷:
需要广泛的专家知识和人力资本来定义一
个更新标称范围,并对遥测数据进行持续分析
2、技术分析
(1)缺乏标记异常
无/半监督方法
(2)被检测数据的特点:异构+有噪声+高维
(3)异常检测
要有
一定的可解释性
(4)在误报和漏报之间找到一个合适的平衡点
二、相关研究工作
3、异常检测的简单形式
预定义阈值
原始数据值检测异常超出限制(OOL)
聚类、最近邻、专家系统、维度缩减等方法
改进
参数规范、可解释性、可概括性、计算开销等
存在缺陷
帮助解决
LSTM
4、使用LSTM做异常检测分析
LSTM
引入基于上下文的加权自循环,可累计/遗忘过去信息
其固有特性成为时间序列,可处理非线性数据流异常检测任务
可学习过去数据值和当前数据值的关系,以权重形式表示
可处理多变量时间序列数据,无需降维
三、作者的研究方法
提出基于LSTM和非参数阈值的航天器异常检测
0、流程(5+1)
LSTM学习时序数据做预测
预测一步+一维
非参数的动态
误差阈值
收集每一步误差构成误差向量
对误差作加权平均的平滑处理
达到检测异常的目的!!
根据平滑后的数据计算阈值
高于阈值样本标为异常
降低误报率
修剪异常策略
“五”大步
“一”附加
三、作者的研究方法(五步走)
1、第一步:用LSTM学习时序数据做预测
(1)单通道模型
方法:对每个通道进行独立建模,每个模型用于预测该通道的值
优点:每个通道维护一个模型,有助于对系统进行更细粒度的控制;
将这第一维度的数据丢给
LSTM(1)模型进行预测
若出现过拟合问题,可以逐个通道处理,不影响整个系统性能。
每个维度的
真实值
(2)预测通道的值
注意:这里一次只处理
一个维度数据
将这第m维度的数据丢给
LSTM(m)模型对t+1时刻
进行预测
第t+1时刻的第m维
的真实值
预测值
三、作者的研究方法(五步走)
2、第二步:收集每一步误差构成误差向量
某一步的误差
收集每一步误差构成误差向量