人体行为识别概述
机器视觉团队:欧阳寒
行为识别现状
n VSAM(Visual Surveillance and Monitoring) 1997
n IVPL实验室(The Image and Video Processing Laboratory)
n AIRVL实验室(Artificial Intelligence,Robotics,and Vision Laboratory)
n LPAC实验室(Laboratory for Perception,Action and Cognition)
n KNIGHT系统
n ISCAPs(Integrated Surveillance of Crowded Areas for Public Security)
n REASON(Robust Methods for Monitoring and Understanding People in
Public spaces)
n CANTATA(Content Aware Networked systems Towards Advanced and
TailoredAssistance)
n 中国科学院自动化所的生物识别与安全技术研究中心CBSR
n 微软亚洲研究院
Page
2
参考文献:监控视频中的人体异常行为检测研究
行为识别前景
n high-level video indexing and retrieval
n “smart” video surveillance systems
自动检测异常行为,辅助检索一个特定的事件。
n The analysis of sport videos
帮助教练进行战略分析。识别不同的游泳风格。
n Hand gesture recognition
虚拟现实
n Human-Computer Interaction (HCI) systems
kidsRoom、Smart room 、Facial action用于分析精神病病人的情感行为。
n robotics
n medical area
辅助诊断病人的运动问题。另一个是对老年人提供远程协助。
Page
3
参考文献:Action Recognition in Videos:from Motion Capture Labs to the Web
行为识别的流程
n 目标的运动特征,可以用于运动表述,是行为理解等高层部分的基础。
n 常见的运动表述方法有:运动轨迹、时空图表述和光流。
Page
4
参考文献:运动人体行为分析
视频中的人体运动分析及其应用研究
行为识别的流程
Page
5
。
目录
目标检测
目标分类
目标跟踪
特征提取
行为理解
Page
6
运动目标检测
n 对于不依赖先验知识的目标跟踪来讲,运动检测是实现跟踪的第一步
n 运动检测即为从序列图像中将变化区域从背景图像中提取出来。
Page
7
参考文献:视频中的人体运动分析及其应用研究.nh
运动目标跟踪算法研究综述.pdf
目标检测——时间差分法
n 在连续的图像序列中两幅或三幅相邻帧之间采用基于像素的时间差分,
并对差分结果进行阈值化处理以提取图像中的前景运动区域。
n 缺点:
n 前景、背景区域的确定与阈值的选取有很大的关系
当灰度图像序列对比度较低时,由于相邻两帧的差(前景与背景之差)
的范围很小,阈值难以选取,影响前景目标的分割结果。
n 区域灰度值变化较为平坦时,容易在人体二值图像内产生空洞现象,
给后续的目标分类、跟踪和识别造成不便。
n 优点:
n 对于动态环境有较强的自适应性
Page
8