AniPortrait logo

AniPortrait

一个用于生成高质量数字人动画的新框架,由音频和参考人像图像。您还可以提供视频来实现面部重建。

AI虚拟数字人
AniPortrait

详细描述

1.

  • AniPortrait:音频驱动的逼真肖像动画合成工具 AniPortrait 是一个新颖的框架,它能够基于音频和参考肖像图像生成高质量的动画。此外,你还可以提供视频来实现面部重演。 2.
  • 动画生成流程 AniPortrait 的动画生成流程包括多个步骤,从音频到视频的转换,再到最终的动画输出,整个过程是自动化的,用户只需提供必要的输入即可。 3.
  • 项目更新与待办事项 项目团队定期更新代码并发布新的功能,例如,最近他们已经发布了音频到姿态模型和预训练权重,以及更新了用于头部姿态控制的姿态文件。 4.
  • 生成视频的多样性 AniPortrait 能够生成多种类型的视频,包括自我驱动、面部重演和音频驱动的视频,展示了该工具在不同场景下的应用能力。 5.
  • 安装与环境构建 为了使用 AniPortrait,推荐使用 Python 版本 >=3.10 和 CUDA 版本 11.7。通过 pip 安装依赖,并按照指南构建环境。 6.
  • 下载预训练权重 所有预训练权重应放置在 ./pretrained_weights 目录下,包括多个组件的权重文件,如 denoising_unet.pthreference_unet.pth 等。 7.
  • Gradio Web UI 试用 AniPortrait 提供了基于 Gradio 的 Web 用户界面演示,用户可以通过简单的命令尝试在线演示。 8.
  • 推理命令与加速方法 用户可以通过命令行运行推理脚本,还可以通过下载特定的权重文件并添加 -acc 参数来加速视频生成过程。 9.
  • 训练过程 AniPortrait 的训练过程分为两个阶段,需要准备数据集,下载并提取关键点,然后根据提供的指南进行训练。 10.
  • 致谢与引用 项目团队感谢了 EMO 作者和其他开源项目的参与者,他们的研究和探索对 AniPortrait 的开发有着重要影响。