Flux.1-dev高清修复ControlNets发布

Flux.1-dev高清修复ControlNets发布

三个专为FLUX.1-dev定制的 ControlNet 模型——Upscaler ControlNet、Depth Map Refiner与Normal Map Enhancer——现已正式上线。它们不是简单的附加组件，而是深度嵌入 FLUX.1-dev 原生 latent 空间的精细化控制工具，在图像超分、三维结构保持和表面细节重建方面展现出前所未有的协同能力。

尤其是Upscaler ControlNet，其在低清图到高清图的智能重建中表现惊艳，已开放 在线试用空间，支持上传图片并结合文本提示进行高质量放大。无需本地部署，即传即用。

📦 模型集合页：Hugging Face - jasperai/flux1-dev-controlnets

核心亮点：不只是“能放大”，而是“懂结构”的生成式修复

我们常说“AI 超分”，但大多数方案本质上是“猜细节”——纹理靠幻想，结构靠平滑，结果往往是越放越大，越看越假。而这次发布的 ControlNet 套件，真正实现了可控的、语义一致的、基于物理逻辑的精细化增强。

以一张模糊的城市速写为例：传统方法可能让建筑扭曲变形，窗户错位排列；而使用Upscaler ControlNet + FLUX.1-dev后，不仅保留了原始构图的比例关系，还能根据提示词“nighttime, neon lights, wet pavement”合理填充光影细节，连玻璃反光的角度都符合透视规律。

这背后的关键，正是 ControlNet 与主模型在 latent 表示层面的高度对齐。它不像外挂滤镜那样“贴一层效果”，而是从生成起点就参与调控，确保每一步去噪过程都受到原始结构信息的引导。

为什么这些 ControlNet 必须专门为 FLUX.1-dev 训练？

一个常被忽视的事实是：ControlNet 并非通用控制器。

市面上大多数 ControlNet 是为 Stable Diffusion 或 SDXL 设计的，它们依赖特定的 VAE 编码方式、latent 分布特性以及时间步嵌入机制。而 FLUX.1-dev 使用的是基于Flow Matching的新型架构，其 latent 空间具有以下差异：

• 更高的维度密度（channel-wise）
• 非对称的时间流建模（forward flow propagation）
• 多尺度特征耦合方式不同

直接将 SD 兼容的 ControlNet 接入 FLUX.1-dev，就像把汽车雨刷装到无人机上——看似功能相似（都是“动”），但接口不匹配，驱动逻辑错乱，最终要么无响应，要么输出崩坏。

因此，本次发布的三款 ControlNet 均在FLUX.1-dev 原生 latent 空间中完成端到端训练，采用 Zero-conv 结构注入控制信号，并通过 Flow Consistency Regularizer 保证动态过程稳定。这意味着每一个 control step 都能被主模型准确理解与执行。

所有模型均已开源，开发者可自由集成至自定义 pipeline。

Upscaler ControlNet：告别“幻觉放大”，实现精准重建

如果你曾尝试过将草图放大成海报级作品，就会明白什么叫“细节灾难”。线条变粗、边缘发虚、新增内容毫无逻辑……这些问题归根结底在于：普通超分只做像素映射，而没有语义锚定。

Upscaler ControlNet的突破点在于：它不仅仅是一个上采样器，更是一个“理解图像意图”的中间代理。它会先分析输入低清图的潜在结构（如轮廓、区块分布、明暗趋势），然后在生成高分辨率图像时，持续参考这一结构先验。

工作流程示意（伪代码）

# 输入：低分辨率图像（如 256x256） low_res_latent = flux_vae.encode(image_256x256) # 得到原生 latent # ControlNet 提取结构条件 condition_map = upscaler_controlnet(low_res_latent) # 输出 512x512 控制图 # 主模型生成高分辨率图像 high_res_image = flux1_dev.generate( prompt="a cyberpunk marketplace at night, glowing signs, bustling crowd", controlnet_condition=condition_map, resolution=(1024, 1024), steps=50 )

这个过程的关键在于condition_map是动态生成的，而非静态插值。它携带了原始图像的空间拓扑信息，并在整个扩散过程中作为“导航地图”存在。

📌典型应用场景：
- 将概念草图转为高清渲染稿
- 社交媒体缩略图重制为横幅广告
- 游戏角色立绘升级（2D Asset Enhancement）

🎯 立即体验 →

Depth Map Refiner：让平面图像“立得住”

深度图是连接 2D 图像与 3D 空间的重要桥梁。但在实际生成中，很多模型输出的 depth map 存在严重问题：墙面弯曲、物体漂浮、远近颠倒。

Depth Map Refiner ControlNet的目标不是“生成 depth”，而是“修正 depth”——它可以接收来自 MiDaS、LeReS 或其他单目估计模型的粗糙输出，并在 FLUX.1-dev 的 latent 空间中对其进行几何一致性优化。

例如，当你输入一段提示词：“一条狭窄的京都小巷，石板路湿润反光，樱花枝垂落头顶”，同时提供一张由 MiDaS 生成的初步 depth map，Refiner 会自动识别出“前景石板”、“中景门廊”、“背景墙壁”三层结构，并调整边缘断裂区域，补全被遮挡部分的合理推测。

这种 refined depth 可用于后续任务：
- 虚拟相机移动（parallax effect）
- AR 场景合成
- 视频帧间 depth consistency 增强

更重要的是，它能在生成最终图像时反向影响视觉输出，使建筑物更具纵深感，人物站位更符合真实比例。

🔧 支持输入格式：PNG 单通道灰度图 / EXR 浮点图
🎨 输出模式：相对 depth（normalized）或绝对 depth（metric scale aligned）

Normal Map Enhancer：赋予材质“真实触感”

如果说 depth 决定了“哪里远哪里近”，那 normal 就决定了“哪里凸哪里凹”。

法线贴图（Normal Map）直接影响光照计算，是 PBR（Physically Based Rendering）管线的核心输入之一。对于数字艺术、工业设计、游戏开发而言，一张准确的 normal map 能极大提升质感的真实度。

Normal Map Enhancer是首个专为 FLUX.1-dev 设计的 surface geometry 控制模块。它有两种使用方式：

1. 预测模式：输入一张 RGB 图像，输出对应的 tangent-space normal map；
2. 控制模式：将 external normal map 作为条件输入，强制生成图像遵循该表面法向分布。

举个例子：你有一张手绘的机甲草图，线条清晰但缺乏立体感。通过 Normal Map Enhancer，系统不仅能推测出装甲板之间的凹凸关系，还能在生成高清图像时，让灯光照射在“铆钉”上产生真实的高光反射，而在“缝隙”处形成自然阴影。

💡 技术优势：
- 支持 tangent space 与 object space 双输出模式
- 与 Blender、Substance Painter 等工具无缝对接
- 可用于 texture-to-3D-model 快速原型构建

示例流程：草图 → Normal Map → 控制生成 → 导出贴图 → 实时渲染

如何接入这套 ControlNet 套件？

目前提供两种使用路径，满足不同用户需求。

方式一：在线试用（零门槛）

访问 Flux.1-dev-Controlnet-Upscaler Hugging Face Space，即可完成全流程操作：

✅ 功能包括：
- 图像上传与自动裁剪预处理
- 文本提示编辑（支持复杂语法）
- 分辨率选择（512→1024 或 768→1536）
- 对比视图（side-by-side comparison）
- 下载生成结果

适合设计师、艺术家、产品经理等非技术用户快速验证创意。

方式二：本地部署（面向开发者）

推荐使用 Python 进行集成，完整示例见 GitHub 仓库：
👉 github.com/jasperai/flux-controlnet-suite

安装依赖：

pip install diffusers transformers torch accelerate

加载模型示例：

from diffusers import FluxPipeline from controlnets import UpscalerControlNet # 加载主模型 pipe = FluxPipeline.from_pretrained("jasperai/flux-1-dev") # 加载 ControlNet controlnet = UpscalerControlNet.from_pretrained("jasperai/flux1-dev-upscaler") # 设置 pipeline pipe.set_controlnet(controlnet) # 生成 result = pipe( prompt="a futuristic library with floating books and glass staircases", image=low_res_input, resolution=(1024, 1024) )

支持多 ControlNet 叠加使用（如 depth + normal），未来还将推出 CLI 工具和 ComfyUI 插件。

展望：构建 FLUX 多模态控制生态

这次发布的三款 ControlNet 只是一个开始。我们的长期目标是建立一个开放、模块化、高性能的FLUX ControlNet 生态系统，覆盖更多专业场景。

接下来几个月内计划推出的新控制器包括：

• Pose Animator：输入人体姿态序列（OpenPose 格式），生成连续动作帧，适用于动画预览
• Edge-to-Image：从线稿生成风格化图像，支持多种艺术风格迁移
• Semantic Segmentation Controller：按 mask 编辑特定区域（如“只修改衣服颜色”）
• Text Layout Guide：控制文字排布、图文位置关系，助力海报设计自动化

我们也欢迎社区贡献者加入，共同制定 FLUX ControlNet 的标准接口规范，推动多模态生成技术向更高精度、更强可控性演进。

最后的话

FLUX.1-dev不只是一个图像生成模型，它是探索下一代多模态智能的实验平台。而 ControlNet 的加入，则让它从“能画”走向“精修”，从“随机创作”迈向“精确控制”。

无论是将一张模糊的概念草图变为电影级视觉作品，还是在科研项目中实现像素级结构调控，这套新工具都在重新定义“人机协作”的边界。

现在就去试试吧：

🔗 在线试用链接
📦 模型下载地址

让我们一起，把想象力推向极致清晰的边界。