手势识别的目的是识别人体有意义的动作,在智能人机交互中至关重要。本文提出了一种基于三维卷积和卷积长短时记忆(LSTM)网络的多模态手势识别方法。该方法首先通过三维卷积神经网络学习手势的短期时空特征,然后在提取的短期时空特征的基础上,通过卷积LSTM网络学习长期时空特征。此外,我们评估了多模态数据之间的微调,我们发现,当没有预先训练的模型存在时,它可以被视为一种可选的技能,以防止过拟合。在ChaLearn LAP大规模孤立手势数据集(IsoGD)和Sheffield Kinect手势数据集(SKIG)上对该方法进行了验证。结果表明,该方法在IsoGD验证集上的识别准确率为51.02%,在SKIG验证集上的识别准确率为98.89%。 3d卷积,卷积LSTM,手势识别,多模态
2022-02-07 14:03:36 529KB 多模态手势识
目前的无人机记录数据集多局限于动作识别和目标跟踪,而手势信号数据集多记录在室内空间。目前还没有针对无人机指挥信号的户外录制公共视频数据集。手势签名nals可以通过利用无人机的视觉传感器和操作简单有效地使用无人机。为了填补这一空白,并使研究在更广泛的应用领域,我们提出了一个无人机姿态信号数据集记录在户外设置。我们从一般的飞机操纵信号和直升机操纵信号中选择了13种适合basic无人机导航和指挥的手势。我们提供119个37151帧的高清视频剪辑。使用基于姿势的卷积神经网络(PCNN)计算的每个性能的基线手势识别率为91.9%。为了将数据集的适用性扩展到更广泛的研究领域,包括手势识别、动作识别、人体姿态识别和情境感知,所有的帧都被标注了身体关节和手势类。 关键词:无人机·手势数据集·无人机控制·手势识别我们展示了一个由悬停无人机记录的手势数据集。数据集con包含119个高清视频,总时长24.78分钟。该数据集是使用13个从通用飞机处理信号和heli直升机处理信号中选择的手势来准备的。这些手势是在户外环境中10名参与者的记录。身体大小、相机运动和相位的丰富变化,使我们的数据集对手势识
2022-02-07 14:03:11 5.98MB 无人机
-我们提出了一种基于多尺度和多模态深度学习的手势检测和定位方法。每一种视觉模式在特定的空间尺度上捕捉空间信息(比如上半身或手的运动),整个系统在三个时间尺度上运行。我们技术的关键是一种培训策略,它利用以下几点:1)谨慎地初始化个体模式;ii)渐进融合,包括随机丢弃独立通道(称为ModDrop),以学习交叉模态相关性,同时保持每个模态特定表示的唯一性。我们在“学习2014看人挑战赛”(ChaLearn 2014 Looking at People Challenge)的手势识别跟踪项目上展示了实验,在这个项目中,我们在17个团队中获得了第一名。在多个空间和时间尺度上融合多种模式可以显著提高识别率,使模型能够补偿单个分类器的误差以及单独通道中的噪声。此外,提出的ModDrop训练技术确保了分类器对一个或多个通道中的缺失信号的鲁棒性,从而从任意数量的可用模式中产生有意义的预测。此外,我们通过在相同的音频增强数据集上的实验,证明了所提出的融合方案对任意性质的模式的适用性。 手势识别,卷积神经网络,多模态学习,深度学习
2022-02-07 14:03:11 162KB 手势识别
里面附有完整代码,还需要其他的可以私信我!
2022-01-21 16:02:13 390KB 手势识别
1
基于hsv肤色提取,运用中值滤波和边缘检测,提取手势轮廓
2022-01-14 21:58:45 4KB 手势识别 轮廓提取
1
基于FPGA的图像边缘检测系统设计(FPGA手势识别
2022-01-12 19:11:53 77.43MB fpga 边缘检测 手势识别 图像处理
1
动态手势的识别部分,在特征提取阶段,将手心坐标作为手势的位置,并将 手心在空间中运动形成的一系列二维坐标点作为手势的轨迹,再把相邻的坐标点 间的方向角量化后得到的方向向量作为动态手势的特征向量。其中,对于轨迹开 始和结束的判断,则是使用了指尖的个数作为依据:当指尖个数为 5 时,轨迹开 始;当指尖个数为 0 时,轨迹结束。在识别阶段,则是利用了隐马尔科夫模型作 为分类器,实现了对于 10 种自定义的动态轨迹的训练和识别
2022-01-12 13:23:16 19.7MB Kinect 手势识别 支持向量机 神经网络
1
使用3DCNN和卷积LSTM进行手势识别学习时空特征
2021-12-30 09:46:41 690KB 研究论文
1
基于计算机视觉的手势识别研究,基于计算机视觉的手势识别研究
2021-12-28 10:27:01 89KB AI
1
包括背景去除 手型提取 用不变矩方法描述手型 SVM样本训练与手势识别
2021-12-27 20:27:58 20.61MB 手势识别 SVM
1