近年来唇语识别成为了人机交互的黑科技，融合了机器视觉与自然语言处 理技术，在语音识别、人机智能交互、安防和公益等领域有着重要的实用价值 和理论意义，发展前景十分广阔。 唇语识别的研究离不开数据集，而国内目前还没有可用的中文唇语数据集， 因此，设计实现一个面向唇语识别的数据采集系统将会具有重要的实用价值。本 文首创性地设计实现了一个面向中文唇语识别的数据采集系统，用语音识别提取 视频的文字和对应的时间戳信息，再按词语进行视频切割并分割提取唇形，将其 与文字相对应，准确率超过 95%，与 DeepMind 团队提出的英文唇语识别数据采 集系统性能进行分析比较，得出了本系统性能更好的结论。

填写此申请表用官方邮箱（比如学校邮箱）发送到BBC邮箱（rob.cooper@bbc.co.uk）以获取LRW唇语识别数据集

填写此申请表用官方邮箱（比如学校邮箱）发送到BBC邮箱（rob.cooper@bbc.co.uk）以获取LRS2唇语识别数据集

本文在深度学习技术基础上对唇语进行识别研究，其具体流程及章节安排 如下： 1. 主要介绍了唇语识别技术的相关内容，给出了传统的唇语识别方法与基 于深度学习的唇语识别方法的区别与联系，并针对国内外研究状况进行了分析 介绍。 2. 对唇语识别技术的一些相关理论技术进行了介绍，并且利用唇语识别研 究中的人脸检测，唇部定位，视觉特征和时序特征的提取以及最后的唇动识别 这几个方面来展开介绍，同时也介绍了深度学习方面相关模型与算法。 3. 首先对唇语识别的实现过程做了简要叙述；其次，通过检测人脸与脸部 关键点来对唇部进行检测做了详细介绍；最后，介绍了通过手工设计特征 HOG 特征以及采用 LSTM 网络来对唇语进行识别，并在公开的 GRID 数据集上进行 验证。

针对目前人脸识别系统面临的图片和视频攻击，构建了一种将人脸识别与口令密码相结合，并采用唇语识别技术进行活体检测的高安全性身份认证系统。首先由于汉语唇语数据的缺少，建立了CNLIP1和CNLIP2两个较大的汉语唇语数据库；其次，为了保留唇语的时序性，采用堆叠卷积独立子空间分析（ISA）深度神经网络模型来实现唇动时序特征的提取；最后提出使用迁移学习算法来训练特定人唇语识别模型。实验证明，唇动时序特征能更好地表征出数字串唇语，迁移学习训练的特定人唇语模型能够满足活体检测的需要，所构建的高安全性人脸识别系统具有较好的防攻击效果。

唇语识别数据

行业分类-电信-使用唇语识别技术进行电话拨号的方法和装置.rar

本文的研究内容主要包括数据库构建和算法研究两个方面，主要内容如下： （1）中文唇语识别数据集 LRW-1000 的构建：考虑到目前关于中文唇语识别的 研究尚无一个基准的数据库，为了给未来中文唇语识别的研究提供一个数据基准， 本课题根据自采的数据，与中科院计算所 VIPL 组合作构建了一个大型的开放场景下 中文唇语识别数据集，并提出了一个完整的构建流程，详细介绍了构建流程中的设 计到的算法原理。 （2）唇语识别算法：提出了一个新的唇语识别算法，来学习从唇语图像序列到 目标文本序列的映射。为了增强网络对短时依赖的建模能力，结合 DenseNet 和时空卷积提出一个新的网络结构，命名为 D3D。然后使用循环神经网络对得到特征的时 序关联进行学习。同时，针对特定的网络结构，设计了一个三段式的训练方法来解 决模型收敛不稳定的问题，该训练方式对于模型性能有显著提升。

唇语识别系统使用机器视觉技术，从图像中连续识别出人脸，判断其中正在说话的人，提取此人连续的口型变化特征，随即将连续变化的特征输入到唇语识别模型中，识别出讲话人口型对应的发音，随后根据识别出的发音，计算出可能性最大的自然语言语句。