优云智算
控制台
立即注册
AnimaBase的Lora融合训练Comfy和Trainer
AnimaBase的Lora融合训练Comfy和Trainer
star0
0/小时
v1.0
最新

Anima 模型融合(Model Merge)— ComfyUI

在 ComfyUI 中对 Anima 模型与 LoRA、其他微调模型进行融合,得到自定义专属风格。

环境要求

  • GPU:3090(24G)即可,速度很快
  • 平台:ComfyUI(云端镜像 已预装工作流)

也可使用 Nova Anima 官方提供的 GUI 工具(本地需 16G+ 内存),但社区缺乏验证,本教程统一使用 ComfyUI 原生方案

核心原理

模型融合本质是把两个模型的风格偏向进行合并,按初始层、中间层、最后层分配不同比例,决定融合后偏向哪种风格。

四种融合方式

方式说明适用场景
LoRA 嵌入(Embed)把 1~4 个 LoRA 叠加权重嵌入到模型里,保存为新的 Diffusion Model想固化某种风格组合
简单融合(Simple Merge)按单一比例参数融合两个模型,无需分层设置快速测试风格混合
Model Merge Block分初始/中间/结束三段设置融合比例精细控制不同层的风格权重
LoRA 提取(Extract/Subtract)用微调后模型减去原始 base 模型,提取出差异作为新 LoRA把已有微调模型转换为可移植 LoRA

操作步骤

方式一:LoRA 嵌入

  1. 加载多个 LoRA,分别设置权重(如 0.3 / 0.4 / 0.5)
  2. 接入 Model Save,保存为新的 Diffusion Model
  3. 注意:嵌入后效果会与原始 Anima 有明显差异,权重越高差异越大

方式二/三:模型融合(Simple / Block)

  1. 搜索节点 ModelMergeBlockModelMergeSimple
  2. 接入两个待融合模型(如 Anima Base + WAI Anima)
  3. Simple 模式直接设置融合比例(如 0.3 = 30% 模型A + 70% 模型B)
  4. Block 模式可分层调整:
    • 角色 LoRA 主要影响 block 层中的服装、配饰等形象细节
    • 风格 LoRA 主要影响整体细腻度表现
  5. 点击运行即可快速完成融合

方式四:LoRA 提取(Subtract)

  1. 用微调模型(如 WAI Anima)减去原始 Base 模型
  2. 设置系数控制提取强度(推荐 0.5,默认强度过高容易输出噪点图)
  3. LoRA 权重同样建议设为 0.5,否则可能跑不出正常图片
  4. 保存为新 LoRA,刷新节点列表(按 R)即可使用

⚠️ 注意:对近期大幅微调过的模型(如 WAI Anima 1.0)做 Extract,效果可能不理想,需要反复调整系数

全量微调说明

如需完全微调大模型(而非融合),需将 LoRA 训练配置中的 network type 从 LoRA 改为 Full Finetune。

全量微调对数据集要求很高,至少需要 几千张图片,否则效果不佳

进阶玩法

融合后的模型可以继续作为 base 模型用于训练:

  1. 先融合得到自定义模型
  2. 在 LoRA 训练配置的 Global Setting 中,将原本指向 Anima Base 的模型路径替换为融合后的模型
  3. 基于这个融合模型继续训练 LoRA,实现"自己的专属微调版本"

总结

四种方法可以组合使用:嵌入 LoRA、简单/分层融合、LoRA 提取,配合全量微调,可以灵活打造个人专属风格模型。

@梦影Erislia
镜像信息
已使用0
运行时长
0 H
镜像大小
100GB
最后更新时间
2026-06-18
支持卡型
3090RTX40系RTX50系48G RTX40系A800H20A100
+7
框架版本
PyTorch-2.9
CUDA版本
12.8
应用
JupyterLab: 8888
版本
v1.0
2026-06-18
PyTorch:2.9 | CUDA:12.8 | 大小:100.00GB
logo

隶属于优刻得科技股份有限公司

股票代码:688158

优刻得是中立、安全的云计算服务平台

AnimaBase的Lora融合训练Comfy和Trainer一键部署 | 优云智算