基于深度学习的人体行为识别综述

基于视觉的人体运动分析是计算机领域中备受关注的前沿方向之一，而人行为理解由于在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景更是成为了未来研究的前瞻性方向之一。行为理解问题一般遵从如下基本过程：特征提取与运动表征；行为识别；高层行为与场景理解。着重从这三个方面逐一回顾了近年来人行为理解研究的发展现状和常用方法，并对当前该研究方向上亟待解决的问题和未来趋势作了较为详细的分析。

行为识别系统被广泛应用于个人健康管理、医疗以及体感娱乐等多个领域，并且行为识 别能够作为感知人当前状态信息，从而成为一种良好的人机交互方式。对行为系统研究不仅 仅局限于学术界对其理论分析，相关企业也对其投入了成本，在当前应用市场上也有诸如“咕 咚”和“微信晒步数”等多款备受用户热爱的应用软件，从而也证明了对行为识别系统的研 究具有重要的应用价值。对行为识别系统的研究起源于使用摄像头进行采集图像信息并基于 计算机视觉技术进行行为识别，到如今利用可穿戴设备以及智能手机上内置的传感器采集数 据进行行为识别。特别是基于智能终端的行为识别系统更加符合用户的日常生活并对用户生 活无侵入，这使得行为识别系统能够大大推广。 基于以上背景，本文对基于智能终端的行为 识别问题进行了深入研究并设计实现了原型系统， 本文的主要工作主要包含如下三个部分： 1. 在特征工程中， 综合考虑分类算法的性能、 特征约减效果以及特征成本这三个关键因素， 利用二进制粒子群优化算法（BPSO）的搜索能力提出了基于特征可信度和成本的特征选 择方法， 并在 UCI 公开数据集中进行了充分的验证，从而证明基于特征可信度和成本的 特征选择方法的有效性。其中在 Lung 数据集中，相较于基于标准 BPSO 的特征选择方法， 所提出的方法能够使得 KNN 的分类准确性提高 3.125%，粒子群迭代收敛能够提前 4 次； 2. 监督学习算法是行为识别系统中最为核心的部分，一个性能良好的分类器能够大大提升 系统整体的性能，因此，对算法模型的优化也成为了本文的研究重点。通过使用聚类技 术构建行为组形成层级拓扑结构的识别方案来对分类器进行了逻辑优化，并在 UCI 数据 集中得到验证，证明该方案的可行性。与 RandomTree, J48, BayesNet, KNN 和 Decision Table 等常用的分类方法进行对比， 所提出的方案能够获得最佳的分类准确性为 94.1636%； 3. 通过对行为识别系统已有方案的深入研究，以将理论知识应用到实际工程项目中为目的， 设计并完成了完整的基于 Android 智能手机的行为识别系统。该系统包含了 Android APP 以及 Web 端管理系统，利用 Android 内置的传感器采集人体行为数据，在服务器端完成 算法建模以及实时识别等耗能工作。该系统的实现囊括了行为识别系统或者说基础的机 器学习工程的多个核心部分，具有实际的工程意义。 关键词: 行为识别系统，机器学习，特征选择， 分类器

针对监控视频中人体异常行为的复杂多样难检测问题，提出了基于YOLO网络模型的异常行为检测方法。根据对监控场景的异常行为定义需求，将标定的异常行为通过YOLO网络模型进行训练，不进行人体目标的提取而将其放到神经网络中，直接实现端到端的异常行为分类，从而实现对具体应用场景的异常行为检测。实验结果表明，该方法召回率接近100%并且平均精确率达到96%以上，同时通过GPU加速对于视频流的检测速度可以达到30FPS左右，实现对监控视频异常行为的实时检测。

为了对坐姿下的几种行为进行识别，在分析常有坐姿的基础上，提出了通过PCA对八种不同姿势进行分类识别的方法。结合背景帧信息通过背景轮廓消减法提取运动目标区域，利用肤色在YCbCr空间聚集在一片固定区域且在CbCr平面上投影为一个近似椭圆的特性，在运动目标区域提取肤色区域，并对检测出的肤色灰度图进行PCA运算，实现了姿势识别。实验结果表明，所提出的利用PCA进行姿势识别的方法正确率达到84.92%，能够准确地识别坐姿行为，并且对运动阴影、光线变化具有良好的鲁棒性。

hekaimingCVPR2019视频行为识别新网络：SlowFast Networks for Video Recognition

运动人体检测和行为识别涉及广泛，包括人工智能、计算机视觉、模式识别等，人体行为识别在医疗、商业、军事中具有重要的应用价值，为探究良好的人体行为识别方法，本文引入傅里叶-隐马尔可夫模型进行相关分析，在人体行为序列图像的识别过程中，需要了解有关人体行为二值图像的轮廓，然后采取科学的方式进行傅里叶变换，接着进行向量转化，形成观察符号序列，将矢量量化向特征向量变化，便于提取人体轮廓的特征，进行后续的应用研究。最后对人体的行为进行识别，采用隐马尔大夫分类器。利用傅里叶-隐马尔科夫模型进行人体识别，能够有效提高人体行为识别率，本次测试单个行为的识别中平均识别率达到94%，要进行深入探究，进行复杂环境复杂动作的识别，促进相关工作的改进。

里面详细介绍了机器学习中图像处理的idt算法使用的HOF、HOG、MBH及轨迹等四种特征描述子，对于学习使用idt算法进行特征提取提供了一定的理论帮助，推荐阅读！

基于片段关键帧的视频行为识别方法

该课题为基于Matlab的异常行为检测。应用场景比如说，我国农村的空巢老人子女常年在外打工。而目前的监控属于被动式的监控，我们仅仅只能查看并且回放监控，不能对监控里面的某种信息作出判断和预警。该课题利用Matlab对监控中的画面的人体行为做一些监测和判别，一旦检测到有某些异常行为，比如说快跑慢跑跌倒等等作出提示，从而避免一些事故的发生，属于主动监控该设计，具有人际交互界面，需要具备一定编程基础的人员学习。