ER-NeRF是基于NeRF用于生成数字人的方法,可以达到实时生成的效果。具体来说,为了提高动态头部重建的准确性,ER-NeRF引入了一种 紧凑且表达丰富的基于NeRF的三平面哈希表示法,通过三个平面哈希编码器剪枝空的空间区域。对于语音音频,ER-NeRF提出了一个区域关 注模块,通过注意机制生成区域感知的条件特征。与现有方法不同,它们使用基于MLP的编码器隐式学习跨模态关系不同,注意机制建立了音 频特征和空间区域之间的明确连接,以捕获本地动作的先验知识。此外,ER-NeRF引入了一种直接且快速的自适应姿势编码,通过将头部姿势 的复杂变换映射到空间坐标,来优化头部和躯干的分离问题。大量实验证明,与先前方法相比,ER-NeRF的方法可以呈现更高保真度和音频嘴 唇同步的数字人,细节更加逼真。
2023-11-29 15:00:47 3.19MB
1
websocket 通信demo实现实时对话 多人群聊和私聊 附带前端页面成品工程
2022-01-26 11:05:59 56KB websocket 实时通信 web聊天室 springboot
1
java网络考试监控系统,分为三个部分,admin,student and proctor. admin可以进行考试计划规划,student需要注册每一个课程。老师可以进行最多6个人的实时监控,包括视频监控和语音监控
2022-01-08 17:17:40 7.88MB java 网络考试监控 实时对话 视频通话
1