1704_(openpose)Realtime Multi-Person 2D Pose
Estimation using Part Affinity Fields.pdf
相关资料
https://www.zhihu.com/question/59750782
参考资料
OPENPOSE论文解读
尹雁
https://github.com/Lininggggggg
https://blog.csdn.net/Lininggggggg
挑战
人的数量不定
人出现的位置不定
人的尺寸大小不定
人的社交互动造成空间干扰
接触
遮挡
整体流程为将输入的图片经过10层VGG19网络转化成图
像特征F, 再分成两个分支分别预测每个点的关键点置信
度和亲和度向量
其中S是置信度网络, L是亲和度向量场
网络:
损失函数为两个网络的ground_truth 值与预测值的平均
平方和
总体思路
整体流程
最终的整体流程是:
(a)输入图像 --> (b)预测关键点置信度 & (c)关键点亲和度向量 --> (d)关键点聚类 --> (e)
骨架组装
关键点置信度网络
训练时
对于某类给定的关键点j
对于某一个人 k , 训练时的置信度label为图中每一点到
groud_truth关键点的高斯距离:
对于多个人, 对多个人的置信度取最大值即可, 这实际上出
于NMS思想:
预测时,输出的置信度直接为置信度网络输出, 再用
NMS(非极大值抑制)方法获取关键点位置, 即选取网络
输出的置信度map中置信度最高的位置作为网络预测的
关键点位置。
预测时
对于某一个人 k, 训练时的每一点的亲和度向量label为:
如果点在肢体上, 则为两个关键点连线方向单位向量(模
长为1), 否则为零向量;
对于多个人, 对单个人的label累加取平均就好。
细节展开
关键点亲和度向量场网络
训练时,对于某类给定的肢体c, 与其相关联的两类关键点
是 j1, j2 (比如肢体c为大臂,则j1, j2分别为肩部关键点和肘
部关键点。肢体c为小臂,则j1, j2分别为肘部关键点和腕部
关键点)
预测时,衡量与给定肢体c相关联的两个关键点亲和度的
方法为,两个关键点间的亲和度为这两个点连线上的点的
亲和度向量与两点连线方向的单位向 量的路径积分
关键点聚类
预测了关键点置信度后, 用NMS方法获取关键点位置, 构
成关键点集
定义二值变量,表示两个关键点是否应该连线(是否属于
同一个人),值为1表示属于同一个人,应该连线,反之
值为0。
所有关键点间的连线情况构成集合Z
目标是找到一个连线配对方式,使得总亲和度最高。该最
优化问题可用Hungarian算法求解