【学术交流】数字金融创新湖北省重点实验室召开第六次学术研讨会

发布者:办公室发布时间:2024-11-27浏览次数:12

本网讯(通讯员:黄潇玉)1127日,实验室召开关于数字金融的第次学术研讨会本次会议由实验室常务副主任田浩主持,全体专职研究员参会,研究员陈燚雷进行了学术报告交流。

会上,陈燚雷博士分享了关于少样本说话人脸视频生成方法的最新科研进展报告聚焦于一种全新的视觉配音方法及其在语音编辑单样本人脸视频中的应用旨在通过语音信号精确编辑说话人脸视频中唇部区域的运动,要求生成的视频在语音与视频同步性及高保真度方面具有优异表现。研究的核心创新点包括:一是3DMM中间表示建模以3DMM作为任务的中间建模工具,增强对任务的表达能力二是教师先验知识融合的语音预测网络通过引入教师先验,开发了一个预测3D人脸表情系数的网络,并探索利用预训练的Wav2Lip模型生成的语义图像序列,提升音视频同步率;三是多人脸先验引导的细节纹理增强渲染网络针对自然头部运动的场景,通过3D重建人脸提供的空间与结构信息提高编辑人脸图像的稳定性,同时结合参考人脸图像信息,增强修复区域与真实区域的纹理一致性。

这次研讨会进一步拓宽了实验室在AIGC(生成式人工智能)与数字经济领域的研究视野。参会研究员围绕少样本说话人脸视频生成技术在数字经济中的潜在应用进行了深入分析和热烈讨论,提出了一系列创新性研究思路,为突破现有瓶颈提供了新的可能性,同时为后续工作的推进奠定了坚实基础。