用ComfyUI打造AI老照片修复与图生视频工作流-平芜编程栈

“如果回到那个夏天”这句话放在 AI 创作场景里，其实可以拆成一个很具体的需求：把一段过去的记忆，重新变成清晰、可观看、甚至可以播放的影像。老照片模糊了，需要修复；画面是静态的，需要让它动起来；只有画面没有声音，需要补上人声或音乐。这一套流程单独拿出来每一环都很成熟，但拼成一条完整的本地创作链路，很多人会在模型选择、显存占用、批量处理和接口调用上卡住。这篇文章就围绕“如果回到那个夏天”这个主题，讲一套可落地的 AI 数字影像创作工作流。

整体思路是：以 ComfyUI 作为核心工作流引擎，串联老照片修复、风格化重绘、图生视频、补帧和音频生成。比较关键的点包括是否需要独立显卡、显存大概要多少、能不能一键启动、是否支持 API 和批量任务。先说结论：这套工作流可以拆成多个独立环节，显存需求不是固定的，取决于你做到哪一步；只做图片修复，8GB 显存级别的显卡就能跑，后面要接视频生成和补帧，对显存和内存的要求会明显提高。具体数字需要按你实际使用的模型版本和分辨率测试，后面我会给出观察方法和降显存策略。

文章后面的内容会带你完成环境准备、ComfyUI 启动、老照片修复测试、图生视频测试、批量任务思路和 API 调用模板。你不用一开始就准备好所有模型，先跑通最小链路，再逐步加功能。

1. 核心能力速览

能力项	说明
项目类型	本地 AI 影像创作工作流，以 ComfyUI 为基础
核心目标	将“某个夏天的记忆”转化为高清图片、动态视频或完整短片
输入素材	老照片、扫描件、普通照片、文本提示词、参考视频片段
主要环节	老照片修复、放大增强、风格化重绘、图生视频、补帧、音频生成、剪辑封装
推荐硬件	独立显卡优先，NVIDIA 显卡体验较好；纯 CPU 可以跑图像处理，但速度慢
显存占用	取决于模型版本、分辨率和批次数，8GB 显存适合照片修复；视频生成建议 12GB 以上，以本机实测为准
支持平台	Windows / Linux 均可，使用便携包或源码部署
启动方式	一键启动脚本或命令行启动，浏览器访问 WebUI，也可开启 API 服务
接口能力	ComfyUI 提供 API 模式，可通过 POST 请求提交工作流，具体端点以官方文档为准
批量任务	支持目录批量处理，推荐结合脚本、队列和失败重试机制
适用场景	老照片修复、家庭影像整理、怀旧短视频、自媒体封面、视觉故事创作

这套工作流的优势不是某个单点技术特别强，而是把“修复—生成—动态化—成片”串成了一条可复用的生产线。

2. 适用场景与使用边界

2.1 适合谁用

家里有老照片，想修复清晰度、去噪、补色的人。
做怀旧题材短视频的创作者，需要把静态照片做成动态短片。
做视觉故事、小说配图、回忆录插图的设计师。
对本地部署感兴趣，不想把私人照片传到云端服务的用户。

2.2 能解决什么问题

老照片常见问题是模糊、划痕、噪点、偏色。用图像修复模型可以提升清晰度；用放大模型可以输出更高分辨率；用图生视频模型可以让云、水、人物衣角有轻微运动；配合补帧和音频，就能得到一段“回到那个夏天”风格的短片。

2.3 不适合什么场景

需要“绝对还原历史事实”的影像资料，AI 修复会猜测细节，不能用作文档证据。
涉及可识别他人的照片，尤其用于公开传播，必须先获得授权。
商用项目里使用有版权限制的底图、音乐、配音，需要自行确认授权链条。
期待一幅照片直接生成电影级长视频，目前本地开源模型的稳定性和时长仍有限，更适合短片段。

2.4 合规与安全边界

涉及人脸、肖像、声音、私人影像时，要格外注意。修复和生成前确认素材来源合法；公开发布前确认不侵犯他人隐私权、肖像权和著作权。不要用这套技术制作针对真实人物的虚假内容，也不要把作品伪装成真实历史影像。使用 TTS 时，复制他人音色也需要获得授权。技术本身没有倾向，用途和传播边界决定合规性。

3. 环境准备与前置条件

3.1 操作系统与基础软件

建议使用 Windows 10/11 或 Linux。Windows 用户直接使用便携整合包最省事；Linux 用户更适合用 docker 或源码部署。

需要提前安装的软件：

软件	用途
Git	下载 ComfyUI 和自定义节点
Python 3.10 / 3.11	运行 ComfyUI 和相关脚本，具体版本以项目要求为准
NVIDIA GPU 驱动	保证系统能识别显卡
CUDA 运行环境	部分组件需要，多数整合包已内置
FFmpeg	视频合成、转码、抽帧、拼接

检查 Python 和 Git 是否已安装：

python --version git --version ffmpeg -version

没有输出或提示“不是内部或外部命令”，说明还没有安装，需要先补装。

3.2 GPU 与显存判断

在命令行输入：

nvidia-smi

能看到显卡型号和显存大小。显存大小决定了你能开到多大分辨率、跑多少帧、能不能同时加载视频模型。8GB 显存适合先跑图像修复；跑图生视频时建议降低分辨率，或使用分块推理。

3.3 磁盘空间规划

ComfyUI 主程序约 1GB 左右，模型文件从几百 MB 到几 GB 不等。视频生成模型通常比图像模型更大。建议预留 50GB 以上空间，把模型文件、输入素材和输出结果分目录存放：

D:/summer-project/ comfyui/ models/ inputs/ outputs/

4. 安装部署与启动方式

4.1 下载 ComfyUI

推荐使用官方源码或知名整合包。源码方式：

git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI

Windows 整合包通常自带 Python 环境，解压后直接使用，不需要手动安装 Python。

4.2 安装依赖

pip install -r requirements.txt

如果下载慢，可以临时切换国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4.3 放置模型文件

ComfyUI 的模型目录结构通常是：

ComfyUI/models/ checkpoints/ controlnet/ loras/ vae/ upscale_models/ diffusion_models/

把对应的修复模型、放大模型、视频扩散模型放到对应目录。模型文件名和版本要与你使用的工作流保持一致，不建议乱改文件名。

4.4 启动 ComfyUI

Windows 直接双击启动脚本，或命令行运行：

python main.py --port 8188

启动成功后浏览器访问：

http://127.0.0.1:8188

显示画布界面就说明启动正常。如果 8188 端口被占用，换成别的端口：

python main.py --port 8189 --listen 127.0.0.1

端口换了之后，浏览器访问地址也要同步改。

5. 主题创作工作流：从题目到画面

“如果回到那个夏天”不只是一个标题，它需要转成视觉方案。按下面的链路分阶段完成。

5.1 第一步：提示词拆解

维度	示例
时间	summer afternoon, golden hour, sunset
地点	old street, rice field, seaside, courtyard
人物	grandmother, children, silhouette, back view
光线	backlight, warm sunlight, soft light
情绪	nostalgic, peaceful, memory, dreamy
画幅	portrait, landscape, 16:9, 9:16

把“那个夏天”具体化：谁、在哪、几点、什么光线、什么情绪。正片叠底式的提示词写法适合风格化重绘，但不适合修复老照片。修复阶段不要加多余描述，保持“去模糊、去噪、还原细节”。

5.2 第二步：老照片修复与增强

修复阶段推荐用 GFPGAN 或 CodeFormer 这类人脸修复模型，配合 ESRGAN 系列放大模型。流程是：输入旧图 → 人脸修复 → 放大 → 可选去噪。

在 ComfyUI 中，使用对应的自定义节点，比如“GFPGAN”节点，输入图片和模型权重，输出修复后的图片。放大节点需要设定 scale 倍数，比如 2 倍或 4 倍。

这个阶段要重点观察人脸五官是否变形、肤色是否均匀、背景纹理是否过于塑料。修复不是越强越好，幅度太大会失去老照片质感。

5.3 第三步：静态图转动态视频

常见方案有 AnimateDiff、SVD、Stable Video Diffusion，以及国产的 Wan 系列视频模型。它们的思路不同：

AnimateDiff：在原有文生图/图生图模型基础上增加运动模块。
SVD / Stable Video Diffusion：专门做图生视频。
Wan：通用视频生成模型，质量和风格更多样。

操作上分两种：一种是把修复后的图片作为首帧，直接图生视频；另一种是先写提示词生成关键帧，再用视频模型生成短片段。为了让画面稳定，可以加入 ControlNet 或首尾帧控制，避免人物脸部在镜头运动时剧烈变形。

这个环节最费显存。先按 512x512 或 640x384 测试，确认能跑通之后再尝试高分辨率。

5.4 第四步：补帧与慢动作

如果想让画面更流畅，可以用 RIFE 等补帧模型，把 8fps 或 12fps 的视频补到 24fps 甚至 60fps。补帧会改变时长，可以做慢动作效果。

在 ComfyUI 中找到补帧节点，输入视频帧序列或视频文件，设置目标帧率，输出补帧后的视频。补帧对显存要求相对低于视频生成，但耗时会比较长，适合在生成环节完成后单独执行。

5.5 第五步：音频与旁白

如果需要语音旁白，可以使用 TTS 工具，输入文案后生成人声。建议保留原始素材的版权，使用自己有授权的音色。背景音乐可以选用无版权音乐库，或自己制作。最后在剪辑软件里把修复画面、动态视频、旁白、音乐合并。

5.6 第六步：剪辑封装

FFmpeg 是最常用的封装工具，以下是通用命令：

ffmpeg -i output.mp4 -i narration.wav -i bgm.mp3 -filter_complex "[1:a][2:a]amix=inputs=2[a]" -map 0:v -map "[a]" -c:v copy -c:a aac final.mp4

实际路径和滤镜参数需要按你自己的文件调整。FFmpeg 也可以做抽帧、拼接、转码、加字幕，适合批量流水线。

6. 功能测试与效果验证

6.1 测试维度表

测试项	输入	预期结果	判断标准
图片修复	模糊老照片	五官更清晰，噪点减少	细节自然，不出现畸形
图片放大	修复后图片	分辨率提升，边缘不崩	纹理不过度平滑
图生视频	单张/首尾帧图片	生成 3-5 秒动态视频	主体稳定，无明显闪烁
补帧	低帧率视频	帧率提升，运动更连贯	无大量重影
提示词重绘	风景照 + 提示词	符合夏天怀旧风格	构图合理，光线一致
API 调用	提交工作流 JSON	返回输出结果	队列执行成功

6.2 最小验证流程

第一次测试不要追求高分辨率。建议流程如下：

准备一张 512x768 的测试图。
先跑图片修复，确认节点输出正常。
修复结果放大 2 倍，观察显存占用。
用放大后的图跑一次 512 分辨率的图生视频，生成 16 帧。
确认视频能保存到输出目录后，再提高分辨率和帧数。

每次只改动一个变量。不要同时提高分辨率和帧数，否则出现问题很难判断是哪一步导致的。

6.3 判断是否成功

修复阶段：放大后五官比例正常，没有“塑料脸”。
视频阶段：人物或场景的局部运动自然，整段视频不闪、不跳、不漂移。
补帧阶段：运动轨迹平滑，没有残影。

6.4 常见失败原因

修复模型没有加载，节点报错。
图片分辨率过高，显存不足，程序被杀。
视频模型输出黑屏或花屏，通常是 VAE 或模型版本不匹配。
补帧后音频不同步，需要单独调整音频延迟。

7. 接口 API 与批量任务

7.1 开启 API 模式

ComfyUI 默认启动后就可以通过 API 提交任务。把 WebUI 里搭好的工作流导出为 JSON，这个 JSON 就是 API 调用的核心。具体请求地址以 ComfyUI 官方接口为准，常见的是 POST /prompt 和 GET /history。

7.2 通用调用模板

curl -X POST http://127.0.0.1:8188/prompt \ -H "Content-Type: application/json" \ -d @workflow.json

import requests url = "http://127.0.0.1:8188/prompt" # 实际字段结构需要按你导出的 workflow JSON 调整，这里只是调用骨架 payload = { "prompt": "if back to that summer", "seed": 42, "steps": 20 } response = requests.post(url, json=payload, timeout=120) print(response.status_code) print(response.text)

这段代码不是任何项目的固定 SDK，只是展示“POST 一个 JSON 到本地服务，然后接收任务结果”的通用思路。你的工作流里如果有 input 节点，需要在 JSON 中把输入图片路径、输出文件名替换掉。

7.3 批量任务设计

批量处理“一本相册”的时候，不要一次性把所有图片塞进同一个流程。更稳妥的方式是分目录处理：

inputs/ album_01/ album_02/ outputs/ album_01/ album_02/

对每一组图片执行一次修复放大，记录日志：

python batch_process.py \ --input ./inputs/album_01 \ --output ./outputs/album_01 \ --log ./logs/run.log

批量任务必须加日志和失败重试。某个文件处理失败时，先记录错误，跳过继续执行，最后统一排查。不要因为一张图失败就让整个任务中断。

8. 资源占用与性能观察

8.1 怎么看占用

Windows 下打开任务管理器，切到“性能”，能看到 GPU 显存使用。Linux 用：

nvidia-smi -l 1

这个命令每秒刷新一次，可以看到显存占用、GPU 利用率和温度。ComfyUI 界面底部或控制台日志也会显示运行信息。

8.2 哪些参数最影响显存

参数	影响
分辨率	显存占用随分辨率平方级上升
视频帧数	帧数越多，中间数据越多
batch size	一次处理多张图会显著增加显存
模型类型	视频扩散模型通常比图片修复模型重
同时加载多个模型	多个模型同时驻留显存，占用更高

8.3 显存不够怎么办

分辨率降到 512 或更低。
帧数从 16 帧开始。
batch size 改为 1。
使用低显存模式启动 ComfyUI：

python main.py --lowvram

运行前关闭浏览器多余标签页和其他 GPU 应用。
分批处理长视频，先跑前段，再跑后段，最后拼接。

8.4 端口与进程问题

如果端口被占用，查看占用进程：

netstat -ano | findstr 8188

Windows 按 PID 结束进程：

taskkill /PID 1234 /F

注意不要随便杀系统进程。

9. 常见问题与排查方法

问题现象	可能原因	排查方式	解决方案
启动后页面打不开	端口被占用或服务未启动	查看启动日志和端口	更换端口或重启服务
Python 依赖安装失败	网络问题或版本冲突	查看 pip 报错	换镜像源或指定版本安装
模型文件加载失败	文件名不匹配或路径错误	检查模型目录和节点路径	放回正确目录并统一文件名
显卡驱动不识别	驱动版本过低	nvidia-smi 查看状态	更新显卡驱动
显存不足导致崩溃	分辨率或 batch size 过高	观察显存占用	降低分辨率、减少 batch
修复后人脸变形	修复强度过高或模型不合适	降低节点参数	重新测试不同权重
视频黑屏花屏	VAE 或模型版本不匹配	检查模型搭配	更换匹配的 VAE 或模型
视频画面闪烁	帧间一致性差	加入 ControlNet 或首尾帧控制	固定动作幅度，减少大幅运动
API 返回 400	JSON 结构和工作流不匹配	对比官方 API 文档	用导出的工作流 JSON 调整字段
批量任务卡住	个别素材损坏或依赖异常	查看日志文件	跳过异常文件并加超时重试
补帧后重影	补帧幅度过大或素材帧率过低	降低目标帧率	调整补帧倍数，避免跨度过大
TTS 音色不像原声	音色克隆模型未配置或音频质量差	检查参考音频时长和干净度	录制更清晰的参考音频

10. 最佳实践与使用建议

第一次跑通之前，先用最小参数建立基线。一张 512 分辨率的图片，一个修复模型，一个输出目录，确保整条链路能走通。然后再逐步加入放大、视频生成、补帧、音频。

工作流建议保存成可复用的模板。同一个“夏天回忆”主题下，所有照片共用一套修复参数和视频参数，输出风格会更统一。换一张新照片时，只需要替换输入文件。

文件目录建议固定：

project/ checkpoint/ inputs/ outputs/ logs/ workflows/

输入素材、输出结果、日志分开管理。批量处理的长任务在夜间运行，白天先做小批试跑。

接口服务如果对局域网开放，要限制访问范围。只在本机调用就把地址写到 127.0.0.1；需要局域网访问再开启 --listen，但不要直接暴露到公网。

发布作品前做一次效果复核：人脸是否协调、文字信息是否错误、背景是否符合实际场景。涉及他人肖像和声音时，确认授权文件。生成的视频不要冒充真实历史影像，建议在简介中注明“AI 修复/ AI 动态化”处理。

11. 总结：可以先打通哪条链路

如果现在只做一件事，建议先打通“老照片修复 → 图片放大 → 图生视频”这条最小链路。一张旧照片进来，经过修复和放大，再生成 3 到 5 秒的动态片段，已经能把“如果回到那个夏天”的画面感做出来。

最容易踩的坑有三个：模型版本和文件名不匹配、一上来就开高分辨率导致显存崩溃、视频帧间闪烁没有加控制手段。避免这些问题的方法是固定一套最小可运行配置，每次只改动一个参数。

后续还可以继续扩展的方向：接入本地 TTS 生成旁白，用无版权音乐库配乐，用 FFmpeg 做批量转码，把整本相册做成一个完整视频。建议先保留这套工作流模板，后续有新的模型可以直接在同一个 ComfyUI 环境里测试。收藏本文，下次处理老照片时可以直接照着搭。