EditAnything无参考多任务LoRA:添加、删除、替换与风格转换全攻略
【免费下载链接】EditAnything项目地址: https://ai.gitcode.com/hf_mirrors/Alissonerdx/EditAnything
EditAnything无参考多任务LoRA是一款基于LTX-2.3(22B)模型开发的视频编辑工具,它能够通过文本提示词实现视频内容的添加、删除、替换与风格转换等多种编辑任务,无需参考图像即可完成专业级视频编辑。
🌟 什么是无参考多任务LoRA
无参考多任务LoRA(edit_anything_v1.1_r256.safetensors)是EditAnything项目中的一款纯提示驱动的视频编辑模型。它无需参考图像或第一帧条件,完全通过文本提示和引导视频来实现编辑效果。该模型在平衡的"添加、删除、替换、风格"编辑任务混合集上训练而成,能够满足多种视频编辑需求。
与其他版本相比,无参考多任务LoRA具有以下特点:
- 两阶段训练:第一阶段赋予模型编辑词汇,第二阶段在更大规模、更平衡的视频对数据集上进行优化
- 更高容量:采用256秩(rank)设计,为更广泛的任务组合提供了更大的容量
- 更稳定的时序表现:直接在视频对上训练,时序行为通常比基于静态图像训练的模型更稳定
🚀 快速开始
安装与加载
无参考多任务LoRA是一个独立的标准LoRA模型,可通过任何ComfyUI LoRA加载器加载到 vanilla LTX-2.3 模型上。文件已包含所有必要组件,无需与v0.1版本叠加使用,也不需要额外的配套模块。
# 克隆仓库 git clone https://gitcode.com/hf_mirrors/Alissonerdx/EditAnything在ComfyUI中设置:
- 通过常规ComfyUI LoraLoader加载模型
editanything_module→ 保持未连接ref_image→ 保持未连接(该LoRA没有参考图像路径)guide_frames→ 连接引导视频enable_role_embedding,enable_adaln,enable_visual_crossattn→ 全部关闭
基础使用流程
- 准备需要编辑的引导视频
- 编写清晰、具体的编辑提示词
- 在ComfyUI中设置LoRA和采样器参数
- 运行推理并调整参数以获得最佳结果
📝 提示词指南
无参考多任务LoRA的训练集分为四种截然不同的描述风格,匹配适合你所需编辑类型的风格至关重要。以下是每种任务类型的提示词格式和示例:
添加(Add)
格式:Add <详细主体描述>, <帧中位置>, <周围环境>
长度:15-30+词
示例:
Add a smiling woman with brown hair, wearing a pink sleeveless top, sitting to the right of the man at the news desk.Add a decorated Christmas tree with red and white ornaments and lights to the right of the man.Add two horizontal wooden strips to the front of the white range hood.
删除(Remove)
格式:Remove the <对象>(可选择添加位置)
长度:4-10词(非常简短)
示例:
Remove the man drinking from a glass.Remove the disco ball.Remove the large tree on the right.
注意:避免过度描述,长的删除提示词往往会偏离训练分布导致失败。
替换(Replace)
格式:Replace <原始主体及其位置描述> with <新主体描述>
长度:20-35词
示例:
Replace the white panel door on the right side of the frame with a dark brown grandfather clock.Replace the light-colored cat lying on the mat on the floor with a young woman sitting on the mat.Replace the blue robot with a glowing blue face on the left with a smiling man wearing sunglasses and a blue shirt.
风格转换(Style)
格式:Convert the video into a <风格名称> style
特点:固定模板,仅需更改风格名称
支持的常见风格:
Convert the video into a Pencil Sketch style.Convert the video into a Watercolor Painting style.Convert the video into a Van Gogh style.Convert the video into a Play-Doh style.Convert the video into a Ghibli style.Convert the video into a Pop Art style.
提示:训练集涵盖300多种不同的风格名称,使用确切的"Convert the video into a
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考