手语识别
该原型为聋人“理解”手语
包括所有代码以准备数据(例如,从ChaLearn数据集中获取数据),提取特征,训练神经网络以及在实时演示过程中预测信号
基于深度学习技术,尤其是卷积神经网络(包括最新的3D模型)和递归神经网络(LSTM)
使用Python,Keras + Tensorflow和OpenCV构建(用于视频捕获和处理)
有关10幻灯片的演示文稿+ 1分钟的演示视频,请参见。
要求
此代码至少需要
python 3.6.5
张量流1.8.0
keras 2.2.0
OpenCVPython的3.4.1.15
为了训练神经网络,需要使用GPU(例如aws p2.xlarge)。 实时演示可在普通笔记本电脑(不带GPU)上运行,例如MacBook Pro,i5、8GB。
获取视频数据
请参阅此处,以获取适合聋人手势语言的合适数据集的概述: :
在此处下载ChaL
2021-03-13 11:07:25
1.09MB
Python
1