news 2026/9/30 20:00:20

YuE2 for ComfyUI 模型包安装与使用指南:Text-to-Music 与 Music Cover 工作流实战

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
YuE2 for ComfyUI 模型包安装与使用指南:Text-to-Music 与 Music Cover 工作流实战
  • 人工智能
  • 音乐生成
  • 音频
  • 媒体生成
  • 大模型

【免费下载链接】Yue2

项目地址:https://ai.gitcode.com/hf_mirrors/Comfy-Org/Yue2
点击查看免费下载

本指南面向 ComfyUI 用户,系统讲解如何在本地 ComfyUI 中安装并启用 YuE2 音乐生成模型包:从模型文件构成、目录放置规则、变体选择,到官方 Music Cover 与 Text to Music 工作流的加载与使用。读完本文,你将能够独立完成 YuE2 模型包(YuE2-3B 主模型 + SheetSage2 音频编码器)的部署,并在 ComfyUI 中通过工作流模板运行音乐生成与音乐翻唱任务。

YuE2 模型包是什么

根据仓库 README.md 的说明,本仓库的定位是Repackaged model files for ComfyUI——即为 ComfyUI 重新打包整理的模型文件发布仓库,其元数据声明如下:

  • license:cc-by-nc-4.0(非商业用途许可)
  • tags:comfyui、diffusion-single-file(面向 ComfyUI 的扩散模型单文件格式)
  • base_model:m-a-p/YuE2-3B、m-a-p/SheetSage2

模型包由两部分组成:

  1. YuE2-3B:约 30 亿参数级别的主干模型(checkpoint),从模型命名与工作流用途可以推断,它承担音乐生成(文本生成音乐)与音乐翻唱(music cover)的扩散主干任务;
  2. SheetSage2:配套的音频编码器(audio encoder),按 ComfyUI 目录约定放置在models/audio_encoders/下,负责音频信号与模型内部表示之间的编解码。

从仓库提供的工作流模板(Music Cover 与 Text to Music)可以确认,该模型包的核心应用场景是音乐生成与音乐翻唱两条创作管线。

仓库文件清单与模型角色

当前仓库根目录下的模型文件清单如下(实际内容由 Git LFS 托管,括号内为 LFS 指针记录的完整文件大小):

文件(仓库相对路径)模型角色精度/变体完整文件大小
checkpoints/yue2_3b_bf16.safetensorsYuE2-3B 主干 checkpointbf16约 7.80 GB
checkpoints/yue2_3b_int8_convrot.safetensorsYuE2-3B 主干 checkpointint8 量化 + convrot约 3.96 GB
audio_encoders/sheetsage2_bf16.safetensorsSheetSage2 音频编码器bf16约 1.39 GB

其中yue2_3b_bf16.safetensors与yue2_3b_int8_convrot.safetensors是两个可选的主干模型变体:

  • bf16 变体:以 bfloat16 精度保存的完整版本,文件约 7.80 GB(LFS 记录精确字节数 7,799,983,228),通常提供更高的数值精度;
  • int8_convrot 变体:从文件名可以推断,这是经过int8 量化、并带有convrot(卷积旋转位置编码)处理的低内存版本,文件约 3.96 GB(精确字节数 3,960,938,800),约为 bf16 变体的一半,适合显存与内存相对受限的运行环境。

需要强调的是,两个变体都属于 YuE2-3B 主干模型,放置时共用同一个models/checkpoints/目录,按需选择其一加载即可。

安装:把文件放到 ComfyUI 的 models 目录

标准目录结构

README 明确给出了文件放置规则——必须与 ComfyUI 默认的模型目录约定完全一致:

📂 ComfyUI/ └── 📂 models/ ├── 📂 audio_encoders/ │ └── sheetsage2_bf16.safetensors └── 📂 checkpoints/ └── yue2_3b_bf16.safetensors

也就是说,SheetSage2 音频编码器必须放在models/audio_encoders/,YuE2-3B 主干 checkpoint 必须放在models/checkpoints/。ComfyUI 会按模型类型从这些约定目录加载文件,路径错位将导致工作流中无法识别模型。

获取模型文件

仓库中的.safetensors文件由 Git LFS 托管(这一点从文件内容可以确认,详见后文"源码级验证"一节),因此拉取文件需要两步:

git clone https://gitcode.com/hf_mirrors/Comfy-Org/Yue2 cd Yue2 git lfs pull

git lfs pull会依据仓库内的 LFS 指针把完整的模型文件下载到本地(若已安装 Git LFS 扩展)。也可以直接从原始模型仓库m-a-p/YuE2-3B与m-a-p/SheetSage2分别获取对应文件,再按上述目录结构放置。

变体选择建议

  • 默认推荐:将yue2_3b_bf16.safetensors放入models/checkpoints/,它与 SheetSage2 音频编码器同为 bf16 精度,组合总大小约9.19 GB;
  • 低内存环境:若显存/内存紧张,可改用yue2_3b_int8_convrot.safetensors(约 3.96 GB),与音频编码器组合约5.35 GB,以较小的模型体积换取更低的资源占用(从文件大小对比可以推断其量化降耗效果)。

安装后自检

模型放入后,可通过文件大小快速自检是否下载完整。LFS 指针中记录的完整大小可作为校验基准:yue2_3b_bf16.safetensors应为 7,799,983,228 字节,yue2_3b_int8_convrot.safetensors应为 3,960,938,800 字节,sheetsage2_bf16.safetensors应为 1,386,868,122 字节。若本地文件远小于上述数值,说明仍停留在 LFS 指针阶段,需要执行git lfs pull。

使用:加载 YuE2 工作流

README 提供了两个与 YuE2 配套的 ComfyUI 官方工作流模板(由 Comfy-Org 的 workflow_templates 仓库维护),文件名与用途如下:

工作流模板文件用途
audio_yue2_music_cover.jsonYuE2: Music Cover(音乐翻唱)
audio_yue2_text2music.jsonYuE2: Text to Music(文本生成音乐)

在 ComfyUI 中,可以通过内置的工作流模板(Workflow Templates)入口检索并加载这两个模板。加载后,工作流会引用位于models/checkpoints/的 YuE2-3B 主干模型与位于models/audio_encoders/的 SheetSage2 编码器——因此务必先完成上一节的目录放置,再加载工作流。

  • Text to Music(文本生成音乐):以自然语言文本描述(如风格、情绪、乐器、结构等)为输入,生成对应的音乐片段;
  • Music Cover(音乐翻唱):以已有音频为输入,结合文本指令对歌曲进行翻唱/改编创作。

实际运行前,建议先确认 ComfyUI 版本与工作流模板所需节点兼容,首次执行时模型加载与推理耗时会明显偏长(属于正常现象)。

源码级验证:LFS 指针与模型文件事实

仓库内的模型文件在 Git 层面实际上是Git LFS 指针文件(135 字节的纯文本),而不是完整的二进制模型。以 checkpoints/yue2_3b_bf16.safetensors 为例,其内容为:

version https://git-lfs.github.com/spec/v1 oid sha256:33765adbf9813c9a50318218760b2fd819a319862460a04884607581961c6fee size 7799983228

其中:

  • oid sha256:完整文件的 SHA-256 摘要,用于校验下载内容的完整性;
  • size:完整文件的字节大小,可用作自检依据。

三个文件(audio_encoders/一个、checkpoints/两个)均为该 LFS 指针格式,这解释了为何仓库目录在磁盘上只占几十 KB——完整的模型本体需通过 Git LFS 拉取后才会出现在本地。

同时,从目录结构可以印证 ComfyUI 的模型分类加载约定:audio_encoders/承载音频编码器类模型,checkpoints/承载扩散主干 checkpoint,两者与 README.md 中规定的放置规则一一对应,工作流节点正是按这些目录约定查找模型文件的。

使用注意与边界

  • 许可协议:模型包采用cc-by-nc-4.0许可,仅限非商业用途,商用前需另行确认授权;
  • 磁盘空间:完整拉取三个文件约需13.15 GB磁盘空间;仅部署 bf16 组合约 9.19 GB,int8 组合约 5.35 GB;
  • 首次运行:第一次加载模型会执行权重载入与初始化,耗时长属正常;int8 变体的量化方式与 convrot 位置编码属于该变体特有的实现细节,具体行为以实际加载与推理输出为准;
  • 本文所述的一切文件路径与模型信息均以当前仓库实际内容为准,模型能力、输出质量与硬件适配请以自身运行结果为准,不宜将仓库外的第三方评测结论当作本项目事实。
  • 人工智能
  • 音乐生成
  • 音频
  • 媒体生成
  • 大模型

【免费下载链接】Yue2

项目地址:https://ai.gitcode.com/hf_mirrors/Comfy-Org/Yue2
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/30 19:58:21

飞桨产业级深度学习平台:从训练到部署的工程化实践指南

1. 飞桨到底解决了什么问题:从一个真实痛点说起如果你最近两年开始接触深度学习,大概率会遇到一个很尴尬的局面:模型代码在GitHub上跑得通,但换到自己的机器上就各种报错;好不容易把环境配好了,想部署到实际…

作者头像 李华
网站建设 2026/9/30 19:57:01

MindSpore Transformers 训练在线监控:config.monitor_config 部署实践

概述MindSpore Transformers(MindFormers)大模型训练场景中,超长时预训练、分布式微调任务需要实时采集 loss、学习率、算力利用率、梯度、显存 / 昇腾 NPU 内存指标。原生日志打印方式信息分散、无法可视化、难以实时告警。monitor_config 是…

作者头像 李华
网站建设 2026/9/30 19:52:52

三款终端AI编程工具接入火山方舟:Codex、Claude Code、OpenCode 全流程指南

过去半年,我把自己主力用的三款终端 AI 编程工具——Codex、Claude Code、OpenCode——全部接到了火山方舟的模型 API 上,在真实项目里跑了几个月的重构、测试生成和嵌入式代码开发。今天这篇就把整套接入流程原原本本写出来:三款工具各自的安…

作者头像 李华
网站建设 2026/9/30 19:51:46

U-Net轮毂缺陷分割实战:从数据标注到模型部署全解析

简介:这份资源是一篇关于轮毂缺陷自动分割的技术论文,面向从事深度学习、图像处理及无损检测自动化研究的工程技术人员。文中提出基于U-Net卷积神经网络的改进方法,将原始模型中的最大池化替换为卷积操作,并引入Dropout层提升可靠…

作者头像 李华
网站建设 2026/9/30 19:39:37

基于SSM的大学生兼职论坛项目实战解析

SSM兼职论坛这个项目,我在带学生做毕设和自己接外包的时候碰到过很多次,可以说是一个很经典的JavaWeb练手项目。它既不追求高并发分布式那些花架子,也没有复杂到无法入手,而是把SSM框架、JSP页面渲染、jQuery/LayUI前端交互、MySQ…

作者头像 李华