功能范围:包含基础工作流安装使用、Lora角色训练、特效训练到最终输出生成全流程
版本改进:在LTX2基础上提升了画面细节、提示词遵循度、音频纯净度,并去除莫名字幕
模式切换:
通过开关控制文生视频/图生视频模式切换
打开时为文生视频,关闭时为图生视频
参数设置:
需设置生成视频的宽度、高度、时长和帧率
建议分辨率:1280×720或更高
帧率可选:24/25/48fps
操作步骤:
选择生成模式
输入尺寸参数
填写提示词
点击运行生成
素材要求:
需上传首帧和尾帧两张图片
图片格式建议PNG,分辨率768×1024
参数配置:
设置输出视频宽度(如960)
高度(如544)
时长(如10秒)
帧率(如30fps)
核心功能:
通过上传音频文件驱动视频生成
支持文生视频和图生视频两种模式
特殊配置:
新增音频上传区域
支持.mp3格式音频文件
可设置音频起始点和时长
1)Comfyui管理大师一键安装
安装流程:
点击工作流一键安装
自动下载所需插件和依赖
重启ComfyUI完成安装
优势:自动解决所有依赖关系,无需手动配置
2)工作流分析安装
操作步骤:
下载模型和工作流文件
覆盖models文件夹
拖入工作流进行分析
自动补全缺失节点
注意事项:需确保网络通畅,环境配置正确
3)手动安装方法
关键步骤:
手动复制models文件夹
拖入工作流文件
逐个安装缺失节点
启动ComfyUI验证
训练流程:
准备素材:收集角色多角度图片
数据打标:自动/手动添加标签
新建任务:设置训练参数
开始训练:监控loss曲线
参数配置:
训练轮数:建议200轮
学习率:0.0001
网络维度:32
显存优化:8G显卡可训练
特殊要求:
需要特效视频素材
分辨率建议768×512
需统一打标描述特效
训练技巧:
使用I2V训练模式
适当降低分辨率节省显存
设置采样频率监控效果
最新采样查看:训练过程中第一个显示的采样结果即为当前最新生成的样本,系统会按时间戳自动排序。
Loss曲线功能:
点击"查看loss曲线"可显示两种训练指标曲线
上部分曲线显示按训练步数(step)统计的Loss值变化
下部分曲线显示按训练轮数(epoch)统计的Loss值变化
模型保存位置:训练完成后自动保存在F:/train/workspace/jobs/目录下,以任务名称(如LTX23_12V_变火特效)命名的output文件夹中。
文件类型说明:
.comfy.safetensors文件用于ComfyUI工作流
普通.safetensors文件为通用模型格式
文件大小约195-196MB,修改日期显示训练时间节点
使用流程:
在ComfyUI中使用时,需复制.comfy.safetensors文件到ComfyUI/models/Loras/目录
示例模型文件名为ltx2.3i2v变火特效.comfy.safetensors
Lora加载方法:
在"Power Lora Loader"节点选择训练好的Lora模型
示例使用的特效Lora为LTX23_I2V_变火特效
模式切换:
上传图片后需关闭"text to video"开关
将工作流切换为I2V(图生视频)模式
运行配置:
设置图像尺寸(如1920x1080)
调整FPS值(示例为60.81%)
点击运行生成特效视频
训练监控:
显存占用13%,内存占用15%
显卡温度51℃
成果示例:
成功训练出数字人角色(如"韩立数字人")
实现角色音色一致性
生成特效视频效果符合预期
基本操作:
生成方式:只需输入提示词即可直接生成数字人短视频和带货内容
工作流特点:基于LTX2.3版本的工作流,支持文本或图像生成视频
操作步骤:
打开文生视频开关
设置分辨率(如720×1280)和时长
输入包含数字人触发词的提示词
模型特点:
同步性:人物角色特征与音色保持同步一致
触发词:每个数字人都有特定的触发词(如"韩立数字人")
提示词结构:
上部为动作描述(如着装、表情、镜头运动等)
下部为人物台词(如"大家好,我是韩立数字人...")
训练流程:
准备阶段:
收集数字人训练素材(建议8-10段视频)
为素材统一打标(包含触发词)
训练配置:
新建训练任务(如"LTX2.3数字人V2")
选择训练类型为"LTX2.3_T2V"
设置采样参数(宽度/高度/帧数)
根据显存情况启用低显存模式
训练监控:
过程采样:可实时查看训练生成的样本视频
注意事项:初期生成的视频声音可能较模糊
结果分析:
Loss曲线:
上方显示按训练步数的平均值曲线
下方显示按训练轮数的平均值曲线
模型输出:
保存路径:workspace/jobs/任务名/output
文件格式:.comfy.safetensors(约835MB)
应用步骤:
将训练好的Lora模型复制到ComfyUI/models/lora目录
在基础LTX2.3工作流中添加Lora Loader节点
输入包含触发词的提示词(格式需与训练时一致)
调整PROMPT强度(建议1.0)
点击运行生成视频
关键要点:
触发词一致性:必须使用与训练数据集相同的触发词格式
参数调整:新模型可能需要微调强度参数(0.8-1.2范围)
效果验证:首次生成建议使用短时长(如5秒)测试
知识点
核心内容
易混淆点
难度系数
LTX 2.3 基础工作流
包含文生视频、图生视频、首尾帧生视频、音频驱动视频生成
文生视频与图生视频的切换方式
⭐⭐
LTX 2.3 安装方法
1. 通过 ComfyUI 管理大师 一键安装2. 使用 工作流分析 补全缺失节点3. 手动覆盖模型文件并补节点
不同安装方式对依赖项的处理
⭐⭐⭐
LTX 2.3 角色 LORA 训练
1. 准备素材并打标2. 新建训练任务,设置参数(分辨率、触发词等)3. 启动训练并监控 Loss 曲线
低显存模式优化设置
⭐⭐⭐⭐
LTX 2.3 特效 LORA 训练
1. 下载特效视频并打标2. 调整分辨率以适应显存限制3. 训练后生成特效模型
视频素材与图片素材训练的差异
⭐⭐⭐⭐
LTX 2.3 数字人训练
1. 采集角色音视频素材2. 训练同步角色与音色的 LORA 模型3. 在文生视频工作流中调用模型
触发词的精准定义
⭐⭐⭐⭐⭐
LTX 2.3 性能优化
画面细节提升、提示词遵循度优化、音频降噪、字幕修正
与 LTX 2 的兼容性问题
⭐⭐
可点击下方原文链接观看视频教程
https://comfyit.cn/blog/230/?invite_code=TSH
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/256969.html