logo资料库

openpose论文解读_思维导图.pdf

第1页 / 共1页
资料共1页,全文预览结束
1704_(openpose)Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields.pdf  相关资料 https://www.zhihu.com/question/59750782 参考资料 OPENPOSE论文解读  尹雁 https://github.com/Lininggggggg https://blog.csdn.net/Lininggggggg 挑战 人的数量不定 人出现的位置不定 人的尺寸大小不定 人的社交互动造成空间干扰 接触 遮挡 整体流程为将输入的图片经过10层VGG19网络转化成图 像特征F, 再分成两个分支分别预测每个点的关键点置信 度和亲和度向量 其中S是置信度网络, L是亲和度向量场 网络: 损失函数为两个网络的ground_truth 值与预测值的平均 平方和 总体思路 整体流程 最终的整体流程是: (a)输入图像 --> (b)预测关键点置信度 & (c)关键点亲和度向量 --> (d)关键点聚类 --> (e) 骨架组装 关键点置信度网络 训练时 对于某类给定的关键点j 对于某一个人 k , 训练时的置信度label为图中每一点到 groud_truth关键点的高斯距离: 对于多个人, 对多个人的置信度取最大值即可, 这实际上出 于NMS思想: 预测时,输出的置信度直接为置信度网络输出, 再用 NMS(非极大值抑制)方法获取关键点位置, 即选取网络 输出的置信度map中置信度最高的位置作为网络预测的 关键点位置。 预测时 对于某一个人 k, 训练时的每一点的亲和度向量label为: 如果点在肢体上, 则为两个关键点连线方向单位向量(模 长为1), 否则为零向量; 对于多个人, 对单个人的label累加取平均就好。 细节展开 关键点亲和度向量场网络 训练时,对于某类给定的肢体c, 与其相关联的两类关键点 是 j1, j2 (比如肢体c为大臂,则j1, j2分别为肩部关键点和肘 部关键点。肢体c为小臂,则j1, j2分别为肘部关键点和腕部 关键点) 预测时,衡量与给定肢体c相关联的两个关键点亲和度的 方法为,两个关键点间的亲和度为这两个点连线上的点的 亲和度向量与两点连线方向的单位向 量的路径积分 关键点聚类 预测了关键点置信度后, 用NMS方法获取关键点位置, 构 成关键点集 定义二值变量,表示两个关键点是否应该连线(是否属于 同一个人),值为1表示属于同一个人,应该连线,反之 值为0。 所有关键点间的连线情况构成集合Z 目标是找到一个连线配对方式,使得总亲和度最高。该最 优化问题可用Hungarian算法求解
分享到:
收藏