通过隐式模块化视听表示进行姿势可控的会说话脸生成(CVPR 2021)
,孙亚生,,,和。
| |
我们提出了可姿势控制的视听系统(PC-AVS) ,该系统可在驱动带有声音的任意说话的面部时实现自由姿势控制。 代替从音频中学习姿势运动,我们利用另一个姿势源视频来仅补偿头部运动。 关键是设计一种隐含的低维姿势代码,该代码不包含嘴巴形状或身份信息。 通过这种方式,将视听表示模块化为三个关键因素的空间:语音内容,头部姿势和身份信息。
要求
使用Python 3.6和 1.3.0。 基本要求在“ requirements.txt”中列出。
pip install -r requirements.txt
快速入门:生成演示结果
下载预训练的检查点。
创建默认的文件夹./checkpoints并解压demo.zip在./checkpoints/demo 。 其中应该有5 pth 。
解压缩mi
2022-05-18 16:34:32
28.48MB
Python
1