镜像名称

personaLive实时数字人系统

镜像简介

一种新颖的基于扩散的实时人像动画流框架 PersonaLive，该框架采用多阶段训练方案。具体而言，我们首先采用混合隐式信号，即隐式面部表示和 3D 隐式关键点，以实现富有表现力的图像级运动控制。然后，我们提出了一种步骤更少的外观蒸馏策略，以消除去噪过程中的外观冗余，从而显著提高推理效率。最后，我们引入了一种自回归微块流生成范式，该范式配备了滑动训练策略和历史关键帧机制，以实现低延迟且稳定的长期视频生成。大量实验表明，PersonaLive 的性能达到了目前最先进的水平，相比以往基于扩散的人像动画模型，速度提升高达 7-22 倍。

• 功能： 这个镜像主要用于在直播当中直接生成自己的专属数字人
• 特点： 预装了personalive运行环境包括依赖包以及相关模型，支持自启动一键运行

环境与依赖

本镜像构建和运行所需的基础环境。

• 框架及版本： PyTorch 2.1.0
• CUDA版本： CUDA 12.1
• 其他依赖： Python 3.10

配置方法

1. 使用该镜像部署实例
2. 镜像成功之后使用 公网地址:7860 访问
3. 具体使用流程参考下图

相关链接

• 项目源码： https://github.com/GVCLab/PersonaLive

常见问题

Q1： 为啥看不到摄像头的相关内容 A1： 如果将应用部署在云端，并采用ip+端口的形式访问，由于没有证书，此时是一种不安全的链接，所以无法直接调用摄像头，在新版的edge，需要将该域名添加到白名单中，具体操作方法如下

• 1 在地址栏输入 chrome://flags/#unsafely-treat-insecure-origin-as-secure 并回车.
• 2 找到该选项，将其设置为 已启用 (Enabled).
• 3 在下方的文本框中输入你的网站地址 (例如 http://yourwebsite.com)，用逗号隔开.
• 4 点击右下角 重新启动 (Relaunch) 按钮.