镜像社区

部署GPU实例

模型与Agent

控制台

立即注册

Talk Lik- You头像说话视频

Name: Talk Lik- You头像说话视频
Author: 鸡你太美

Talk Like You — 实时模仿你的说话头像说话

镜像大小

60 GB

当前版本

v1.0

累计部署

0 次

累计运行

0 h

运行环境

框架版本

PyTorch-2.13.0

CUDA版本

13.2

应用

JupyterLab: 8888

支持卡型

3090RTX50系

+10

Talk Like You — 实时模仿你的说话头像说话

交流加群

bug反馈可以加入科哥专属群交流➕ 广告勿进！

已经设置开机运行首次开机 1-2分钟
使用截图

【插入一个小广告给需要做ai视频，图片，短剧等多一个选择】：
✅主打廉价稳定模型中转站推荐：https://vip.kegeai.top
✅推荐一个在线AIGC生成的平台：支持无限画布，智能体，API接口，3D导演台等
✅功能趋于libTV，关键是模型众多，价格美丽！
✅国内外模型全部具备，aigc创多不可多得
✅使用地址：https://wy6688.token6688.com/‬
✅GPT模型编程模型推荐：
✅如果你需要满血得的GPT模型
✅请大胆尝试：https://ai.aiaiai001.com/
✅GPT pro号池最低0.3x倍率节省90%+费用
✅pro 100+单个用户最高并发满血使用
在线图片、视频生成网站哈基米AI聚合平台：https://link8.lk888.ai/
✅杀疯了！！！在线sd2.5模型最低6毛钱一秒！！！
✅ai大模型：gpt，claude，gemini，deepseek...数百种主流模型
✅最新图片模型：gpt-image2，香蕉2，香蕉pro，即梦，豆包，万相...
✅最新视频模型：sd2，快乐马，grok，veo3，sora2，vidu，可灵...
✅并发高，收费合理（价格优先速度优先）
以上模型均支持API，龙虾CLI接入，web浏览器在线使用！
企业高并发AIGC接口无限画布平台： https://api.api4me.xyz
✅ gpt-image2.5 几分钱特价中！
✅ gpt-image2/香蕉低至几分钱一张
✅性价比sd2 sd2-fast sd2-mini过真人脸在线生成
✅MiniMax H3
✅veo3-fast视频几毛八秒
✅更多特价AI模型接入中
技术微信：312088415

✅Seedance火山引擎-企业白名单使用教程： https://icndm2oxbr60.feishu.cn/docx/Hs3fd8qMgo1pYaxodxYc2en9nYd?from=from_copylink

咨询问题前请注意：
1.先说明哪个镜像，发镜像链接和名称，例如：
千问图像2.1最新模型量化版破限工作流大集合
2.先拿到运行报错的log日志或者截图：
没有上面的信息我也没有办法帮到你的，因为镜像比较多，我不清楚你问的哪个镜像的
感谢使用！感谢理解！感谢支持！

Talk Like You 用户使用手册

本手册面向使用者，教你从启动到生成视频的完整流程、主要功能与常见问题。手册不含环境安装 / 模型下载等搭建步骤，假设项目已经可以正常运行。

1. Talk Like You 是什么

Talk Like You 是一套「音频驱动 + 说话习惯」的数字人说话视频生成工具。

给它一张人物图片或一段人物视频，再给一段语音音频；
它会生成一段人物跟着音频说话的视频，口型、表情会随语音变化；
核心特色是**「说话习惯」模仿**：可以让生成的人模仿某个特定的说话习惯（口型风格），通过预设习惯 ID（内置人物习惯）或参考视频来指定；
生成的口型由一步式 Flow Matching 模型在 18 维唇动空间中完成，因此速度快、显存占用低。

本仓库同时提供两种使用方式：

方式	入口	适合人群
中文网页界面（WebUI）	`./start_app.sh`	大多数用户，图形化操作、无需记命令
命令行（CLI）	`python -m talklikeyou ...`	批量处理、脚本集成

两种方式底层调用的是同一套推理流程，参数完全一致，结果也一致。

2. 启动程序

2.1 推荐方式：一键启动脚本（WebUI）

在项目根目录下执行：

./start_app.sh

脚本会自动完成三件事：

结束占用 7860 端口的旧进程；
结束占用显存的进程，保证独占 GPU；
激活 conda 环境（默认 py312）并启动 WebUI。

看到日志 启动 WebUI： http://0.0.0.0:7860 后，在浏览器打开：

http://localhost:7860

⚠️ 注意：脚本为了独占 GPU，会强制结束当前占用显存的进程（kill -9）。如果这台机器上还跑着别的 AI 任务，请改用下面的「直接启动」方式。

2.2 直接启动（不动其他进程）

cd /root/TalkLikeYou-WebUI
python webui.py

自定义端口（默认 7860）：

GRADIO_SERVER_PORT=8888 python webui.py

2.3 关于「懒加载」

WebUI 启动是秒开的，因为真正的模型（torch / ONNX / Ditto 渲染器）不会在启动时加载，而是在你第一次点击「开始生成」时才加载。

所以：

打开页面很快，属正常现象；
第一次生成会明显更慢（要加载几 GB 模型），之后同一进程内会复用，速度快很多。

3. 界面导览

页面分成左右两栏。

左栏：素材输入 + 生成参数

一、素材输入

控件	说明
源图片 / 源视频（必选）	要「说话」的人物素材。选图片会立刻在下方预览。
源图片预览	仅当上传的是图片时显示，方便确认人物。
驱动音频（必选）	决定说什么、嘴型的语音，可上传或麦克风录制。
参考说话习惯（可选）	上传参考视频或动作 `.pkl`，让口型模仿它的说话习惯。会覆盖预设人物 ID。

二、生成参数

预设说话习惯 ID、随机种子；
口型幅度、习惯引导强度、流匹配步数；
姿势模式、Ditto 姿势采样步数；
Stage0、Neutral、关闭时序平滑；
高级参数（折叠）：人脸裁剪比例、人脸序号、分块重叠。

底部按钮

开始生成（主按钮）：执行生成；
卸载模型 / 释放显存：清空缓存，模型下次生成时重新加载。

右栏：生成结果

控件	说明
生成视频	生成完成后直接在此播放。
文件保存路径	生成视频的绝对路径。
检查模型完整性（折叠）	点「检查模型」列出所有必需权重是否就绪。

4. 快速上手：5 步生成第一段视频

用项目自带的示例素材即可跑通：examples/source.jpg、examples/audio.wav、examples/habit_reference.mp4。

启动：./start_app.sh，浏览器打开 http://localhost:7860。
上传源素材：在「源图片/源视频」选择 examples/source.jpg（会显示预览）。
上传音频：在「驱动音频」选择 examples/audio.wav（或点麦克风现场录一段）。
设置参数（新手推荐）：
- 预设说话习惯 ID：192（推荐 192 / 166 / 202）；
- 勾选 Stage0；
- 勾选 Neutral；
- 其余保持默认（口型幅度 1.0、习惯引导强度 1.3、流匹配步数 1、姿势模式「自动」）。
点击「开始生成」，等待右下角出现视频播放器。生成完成后，视频路径会显示在下方。

若不确定模型是否齐全，可先展开「检查模型完整性」点一下检查模型。

5. 素材准备要求

5.1 源素材（图片或视频）

图片：jpg / jpeg / png / webp / bmp / gif / tif / tiff。建议正脸、清晰、光线均匀、无遮挡。
视频：mp4 / mov / avi / mkv / webm。建议25 FPS。
必须是清晰的人脸，否则会报「No face detected / 未检测到人脸」。
画面里有多张人脸时，用「人脸序号（face-index）」选择第几张（默认 0，即第 1 张）。

5.2 驱动音频

常见格式均可（wav / mp3 等，底层用 librosa 读取），会自动转 16 kHz 单声道。
时长决定生成视频时长（上限还受源视频长度限制）。
太短会报错（音频太短无法提取动作特征），建议至少几百毫秒。

5.3 参考说话习惯（可选）

可以是视频或动作 .pkl 文件；
参考视频至少需要 100 帧（按 25 FPS 约 4 秒），否则会报错；
提供参考后会覆盖 --person-id，即改用参考视频的说话习惯。

6. 参数详解

6.1 必选参数

参数	含义	建议
源图片 / 源视频	要说话的人物	正脸清晰素材
驱动音频	决定说什么	安静环境录制，人声清晰

6.2 核心参数

参数（CLI）	界面标签	默认	作用与调法
`--person-id`	预设说话习惯 ID	192	选择内置说话习惯。推荐 192 / 166 / 202。有效范围由模型决定（当前为 0–399），越界会报错。
`--habit-reference`	参考说话习惯	无	用参考视频/`.pkl` 模仿说话习惯，覆盖 person-id。
`--motion-scale`	口型幅度	1.0	口型张合幅度。调大更夸张，调小更含蓄（建议 0.8–1.3）。
`--guidance-scale`	习惯引导强度	1.3	越大约束越强（越像该习惯，但可能不够自然）。一般 1.0–2.0。
`--sampling-steps`	流匹配步数	1	论文推荐 1 步。保持 1 即可，快且质量好。
`--seed`	随机种子	0	相同素材+相同种子结果可复现；想换细微差异就改种子。
`--pose-mode`	姿势模式	自动	见 6.4。
`--pose-sampling-steps`	Ditto 姿势采样步数	1	仅当姿势模式为 `audio` 时生效。
`--no-smooth`	关闭时序平滑	关	默认开平滑让动作更稳；勾选后关闭。

6.3 Stage0 与 Neutral（强烈建议图片源同时勾选）

Stage0：以内置中性口型作为起始状态来生成相对口型运动，牙齿与唇形结构更稳定。
Neutral：先把你源图/源视频的嘴部中性化（收敛到一个稳定、微张的口型）再动画，避免源素材嘴型与生成口型对不齐。
推荐：图片源同时勾选 Stage0 与 Neutral；视频源勾选 Neutral 时会自动使用相对口型，同时保留源视频原本的头部姿势。

6.4 姿势模式（`--pose-mode`）——头部动作从哪来

模式	头部姿势来源	适用
自动	图片 → `audio`；视频 → `source`	默认，按源类型自动选
`audio`	用 Ditto 音频驱动生成头部姿势（跟随语音点头/晃动）	图片源
`source`	保留源素材原本的头部姿势，不加载 Ditto 姿势模型	视频源；或想固定图片姿势时

图片源默认用 audio：口型由 TalkLikeYou 习惯模型生成，头部姿势由 Ditto 音频驱动；
视频源默认用 source：保留视频原有头部动作，速度更快。

6.5 高级参数（一般不用改）

参数	默认	说明
人脸裁剪比例（`--crop-scale`）	2.3	人脸框放大倍数。人脸占比过小/过大时可微调。
人脸序号（`--face-index`）	0	多脸画面中选择第几张脸（从 0 开始）。
分块重叠（`--overlap`）	5	分段生成时的重叠帧数，影响衔接平滑度。

7. 三种典型使用场景

场景 A：图片 + 预设习惯（最常用）

源：图片；习惯：预设 ID（如 192）；姿势：自动（audio）。
建议：同时勾选 Stage0 与 Neutral。
结果：图片开口说话，头会随语音轻微晃动，口型具该 ID 的说话习惯。

场景 B：图片 + 参考视频习惯（模仿特定的人）

源：图片；参考说话习惯：上传一段该人物的说话视频（≥100 帧）。
结果：口型模仿参考视频里那个人的说话风格（person-id 被忽略）。
注意：参考视频要正脸、嘴部清晰。

场景 C：视频换声（数字人配音 / dub）

源：一段人物视频；习惯：预设 ID。
姿势模式：自动（source），保留视频原有头部动作。
结果：把新音频「配」到原视频人物身上，口型跟随新音频。

8. 命令行（CLI）使用

在项目根目录执行。三种典型命令如下。

8.1 图片 + 预设习惯

CUDA_VISIBLE_DEVICES=0 python -m talklikeyou \
  --source examples/source.jpg \
  --audio examples/audio.wav \
  --person-id 192 \
  --stage0 \
  --neutral \
  --motion-scale 1.0 \
  --guidance-scale 1.3 \
  --sampling-steps 1 \
  --pose-mode audio \
  --pose-sampling-steps 1 \
  --output outputs/preset_192.mp4

8.2 图片 + 参考视频习惯

CUDA_VISIBLE_DEVICES=0 python -m talklikeyou \
  --source examples/source.jpg \
  --audio examples/audio.wav \
  --habit-reference examples/habit_reference.mp4 \
  --stage0 \
  --neutral \
  --output outputs/reference_habit.mp4

8.3 视频源换声

CUDA_VISIBLE_DEVICES=0 python -m talklikeyou \
  --source path/to/source.mp4 \
  --audio path/to/audio.wav \
  --person-id 166 \
  --stage0 \
  --neutral \
  --pose-mode source \
  --output outputs/dubbed.mp4

8.4 等价入口

以下写法等价：

python -m talklikeyou ...
python inference.py ...
安装后的控制台命令 talklikeyou ...

--output 省略时，会自动写入 outputs/ 下带时间戳的文件名。

9. 输出结果与文件位置

生成结果统一保存在项目 outputs/ 目录；
默认文件名格式：outputs_<年月日时分秒>.mp4，例如 outputs_20261014153000.mp4；
同一秒内多次生成会自动加序号后缀，不会互相覆盖；
生成过程先写 <输出路径>.tmp.mp4，再用 ffmpeg 把音频合成为最终 MP4；
WebUI 里会同时在右侧播放器播放，并显示完整路径。

因为结尾需要用 ffmpeg 合成音频，ffmpeg 必须在 PATH 中，否则会失败。

10. 性能与显存

模型初始化、人脸配准、中性化、音频合成属于一次性开销，不计入渲染帧率；
官方数据：RTX 3090 上可达 30+ FPS，显存占用 < 4 GB（真实渲染阶段）；
首次生成因为要加载模型，会比后续慢很多；
显存不够时可点「卸载模型 / 释放显存」，或减少并发、改用更小的源分辨率。

11. 常见问题 FAQ

Q1：页面打不开 / localhost:7860 没反应？ 先确认终端日志出现 启动 WebUI： http://...。若端口被占，start_app.sh 会自动结束占用进程。也可换端口启动：GRADIO_SERVER_PORT=8888 python webui.py，再访问 http://localhost:8888。

Q2：第一次点「开始生成」很久没动，是卡死了吗？ 不是。模型是懒加载的，第一次生成要加载数 GB 权重，请耐心等待。之后同一次运行内会快很多。

Q3：提示「缺少模型文件」怎么办？ 展开右栏「检查模型完整性」→ 点检查模型，会列出每个必需权重的 ✅/❌，按缺失项补齐 models/ 目录即可（缺权重会在开始工作前就报错）。

Q4：提示「未检测到人脸 / No face detected」？ 换一张更清晰的正脸素材；若画面有多张脸，调整人脸序号（face-index）；必要时微调人脸裁剪比例（crop-scale）。

Q5：报错「参考视频至少 100 帧」？ 参考说话习惯的视频太短。<100 帧的参考视频会被拒绝，请提供至少 4 秒（25 FPS）的清晰说话视频。

Q6：报错 person_id must be in [0, ...]？ 预设说话习惯 ID 超出模型范围。当前有效范围是 0–399，推荐用 192 / 166 / 202。

Q7：生成的视频没有声音 / 音画不同步？ 声音由 ffmpeg 在最后合成。请确认 ffmpeg 在 PATH，且驱动音频文件本身可正常播放。视频长度取「音频帧数」与「源素材帧数」的较小值，所以源视频过短会截断音频。

Q8：显存不足（CUDA out of memory）？ 点「卸载模型 / 释放显存」后重试；关闭其它占用 GPU 的程序；或用更小的源图片/视频。

Q9：生成的嘴型太夸张 / 太小？ 调口型幅度（motion-scale）：调大更夸张，调小更含蓄（建议 0.8–1.3）。

Q10：想换说话习惯怎么办？ 两种方式：① 改预设说话习惯 ID（192/166/202 最稳）；② 上传参考说话习惯视频（会覆盖 ID）。

Q11：图片源的头总是晃，能固定吗？ 把姿势模式改成「保留源视频姿势（source）」，就不再叠加音频驱动的头部动作。

Q12：可以用麦克风现场录音吗？ 可以。「驱动音频」支持上传和麦克风两种来源。

Q13：能批量处理吗？ 用命令行（CLI）写脚本循环调用即可，每次指定不同的 --source / --audio / --output。

Q14：为什么建议同时勾选 Stage0 和 Neutral？ 两者配合能让源素材的嘴部状态与「中性起始口型」对齐，牙齿/唇形更稳定，尤其对图片源效果明显。

Q15：输出文件在哪？ 项目根目录的 outputs/，文件名形如 outputs_20261014153000.mp4。WebUI 右侧「文件保存路径」会显示完整路径。

12. 参数速查表

界面标签	CLI 参数	取值 / 范围	默认	一句话说明
源图片/源视频	`--source`	图片或视频路径	必填	要说话的人物
驱动音频	`--audio`	音频路径	必填	说什么
预设说话习惯 ID	`--person-id`	0–399（推荐 192/166/202）	192	内置说话习惯
参考说话习惯	`--habit-reference`	视频 / `.pkl`	无	模仿其习惯，覆盖 ID
口型幅度	`--motion-scale`	0.1–2.0	1.0	嘴张合幅度
习惯引导强度	`--guidance-scale`	0.1–5.0	1.3	习惯约束强弱
流匹配步数	`--sampling-steps`	1–20	1	论文推荐 1
姿势模式	`--pose-mode`	auto / audio / source	自动	头部动作来源
Ditto 姿势采样步数	`--pose-sampling-steps`	1–50	1	仅 audio 模式生效
Stage0	`--stage0`	开/关	关（推荐开）	相对中性口型起始
Neutral	`--neutral`	开/关	关（推荐开）	先中性化源嘴部
关闭时序平滑	`--no-smooth`	开/关	关	关闭动作平滑
人脸裁剪比例	`--crop-scale`	1.0–4.0	2.3	人脸框放大倍数
人脸序号	`--face-index`	整数	0	多脸时选人
分块重叠	`--overlap`	整数	5	分段重叠帧数
随机种子	`--seed`	整数	0	复现/微调
输出路径	`--output`	路径	自动	最终 MP4 保存位置