SentiAvatar

SentiAvatar国内首个交互式 3D 数字人框架

镜像简介

本镜像提供名为SentiAvatar的3D 数字人框架

• 功能： 这个镜像主要用于3D数字人动捕数据生成
• 特点： 预装了运行环境，【数据集预处理已完成】，可以直接使用模型

镜像使用指南

一、快速使用

1. 先选择GPU型号，再点击“立即部署”

2. 待实例初始化完成后，进入实例（推荐大家使用ssh终端模拟软件连接实例）

项目文件夹就在/root目录下

3. 切换conda环境

conda activate SentiAvatar

4. 启动vLLM服务

cd  SentiAvatar/
bash scripts/start_vllm_server.sh checkpoints/llm 8095 0

vLLM服务启动需要等待一段时间（5-6分钟）

当看到如图所示的输出时，证明服务启动完毕

5. 另起终端，进行推理

1. 使用demo脚本进行推理

 conda activate SentiAvatar
 cd SentiAvatar/
 bash scripts/run_single_infer.sh

2. 自行推理

使用shell脚本进行推理

bash scripts/run_single_infer.sh \
    --audio_path /path/to/your/audio.wav \
    --action_text "动作：点头微笑" \
    --output_dir ./output_single

或者使用python脚本进行推理

cd motion_generation
python single_case_infer.py \
    --audio_path /path/to/audio.wav \
    --action_text "动作：挥手打招呼" \
    --output_dir ./output_single \
    --vllm_port 8095

资源占用情况

GPU 占用 3G

相关链接

• 项目源码： https://github.com/SentiAvatar/SentiAvatar