[发明专利]一种基于语音和人脸图像的跨模态生成方法

摘要

本发明涉及基于语音和人脸图像的跨膜态生成方法，包括语音重建人脸及人脸图像的个性化语音合成。语音重建人脸提出了基于残差先验的语音重建人脸模型，根据输入一段未知语音生成该人物的人脸。人脸图像的个性化语音合成提出了基于残差先验的人脸图像个性化语音合成模型，根据给定的人脸图像和一段文本，合成出该人物的语音。本发明设计科学合理，语音重建人脸模型的效果能生成与原始人脸非常相似的人脸图像，并且具有很强的鲁棒性，生成的人脸并不是固定的几个，而是输入任意一个说话人的语音，都能重建出与该说话人相似的人脸。残差先验人脸图像个性化语音合成模型也是根据任一人脸图像合成该人物的语音。此外，提出的残差先验知识的方法能够加速模型的收敛，达到更好的效果。