
详细描述
1.
- AniPortrait:音频驱动的逼真肖像动画合成工具 AniPortrait 是一个新颖的框架,它能够基于音频和参考肖像图像生成高质量的动画。此外,你还可以提供视频来实现面部重演。 2.
- 动画生成流程 AniPortrait 的动画生成流程包括多个步骤,从音频到视频的转换,再到最终的动画输出,整个过程是自动化的,用户只需提供必要的输入即可。 3.
- 项目更新与待办事项 项目团队定期更新代码并发布新的功能,例如,最近他们已经发布了音频到姿态模型和预训练权重,以及更新了用于头部姿态控制的姿态文件。 4.
- 生成视频的多样性 AniPortrait 能够生成多种类型的视频,包括自我驱动、面部重演和音频驱动的视频,展示了该工具在不同场景下的应用能力。 5.
- 安装与环境构建 为了使用 AniPortrait,推荐使用 Python 版本 >=3.10 和 CUDA 版本 11.7。通过 pip 安装依赖,并按照指南构建环境。 6.
- 下载预训练权重 所有预训练权重应放置在
./pretrained_weights
目录下,包括多个组件的权重文件,如denoising_unet.pth
、reference_unet.pth
等。 7. - Gradio Web UI 试用 AniPortrait 提供了基于 Gradio 的 Web 用户界面演示,用户可以通过简单的命令尝试在线演示。 8.
- 推理命令与加速方法 用户可以通过命令行运行推理脚本,还可以通过下载特定的权重文件并添加
-acc
参数来加速视频生成过程。 9. - 训练过程 AniPortrait 的训练过程分为两个阶段,需要准备数据集,下载并提取关键点,然后根据提供的指南进行训练。 10.
- 致谢与引用 项目团队感谢了 EMO 作者和其他开源项目的参与者,他们的研究和探索对 AniPortrait 的开发有着重要影响。