资源下载链接为:
https://pan.quark.cn/s/d9ef5828b597
OpenPose关键点识别速查笔记
——————————————
1 整体思路
把RGB图拆成两个并行的置信图分支:
身体18点 PAFs(Part Affinity Fields)
手/脸/足 高分辨热图
用CNN同时估计,后接贪婪匹配→拼装骨架。
2 网络结构
输入:368×368×3
前段:VGG19前10层→特征F
中段:6级级联 refine,每级含:
PCM(关键点热图) + PAF(肢体向量场) 双分支
末段:上采样×4→高分辨率手/脸/足热图(输出尺寸 96×96)。
3 关键点定义
身体18点:0鼻1颈2右肩3右肘…17头顶
手21点:掌心→五指关节
脸70点:轮廓、眉、眼、鼻、嘴
足6点:大/小趾、脚跟
4 PAF 拼装流程
(1) 取PCM中局部极值>阈值得候选点
(2) 对每类肢体(如右前臂)
a. 计算两端点对连线
b. 采样10点,累加PAF方向一致性得分
c. 匈牙利算法最大权重匹配→成对
(3) 重复(2)直至全身骨架。
5 训练细节
数据增强:随机旋转±30°、尺度0.5-1.5、半身遮挡
损失:均方误差,难样本权重×3
迭代:1e-4 Adam,前60k步冻结VGG,后40k全调。
6 推断加速
半精度FP16,批处理4帧
先用低分辨率检出人体框,再裁出子图精修手/脸
多线程:CPU后处理,GPU前向。
7 可视化速读
图1:输入图 → 图2:PCM叠加 → 图3:PAF箭头 → 图4:最终骨架
红=高置信,蓝=低置信。
8 误差排查清单
漏检:降低阈值/增尺度
抖动:使用光流平滑
自遮挡:加侧面训练数据。
1