美团LongCat-Video开源：136亿参数突破长视频生成瓶颈，推理速度提升10倍-平芜编程栈

美团LongCat-Video开源：136亿参数突破长视频生成瓶颈，推理速度提升10倍

【免费下载链接】LongCat-Video项目地址: https://ai.gitcode.com/hf_mirrors/meituan-longcat/LongCat-Video

导语

美团正式开源136亿参数视频生成模型LongCat-Video，实现文本生成视频、图像转视频、视频续写全任务覆盖，原生支持5分钟长视频连贯生成，推理速度提升10倍，MIT许可证允许免费商用。

行业现状：视频生成迈入"长时序"竞争赛道

2025年AI视频生成领域正从"技术跑分"转向"实用落地"。据相关数据显示，全球视频生成市场规模已从2024年的6.15亿美元增长至7.17亿美元，企业对长视频生成（超过30秒）的需求同比增长240%，但现有开源模型普遍存在"10秒壁垒"——超过该时长即出现色彩漂移、动作断裂等质量问题。

如上图所示，美团研究员康卓梁在杭州AI开源生态大会上发表《LongCat-Video 高效长视频生成探索世界模型的第一步》主题演讲，揭示了视频生成技术从"内容创作工具"向"物理世界模拟器"的演进路径。这一趋势下，长时序连贯性、多模态交互性成为新的技术竞争焦点。

核心亮点：四大技术突破重构视频生成范式

1. 多任务统一架构：一模型搞定三类核心任务

LongCat-Video采用创新的"视频延续"统一框架，将文本生成视频（T2V）、图像转视频（I2V）、视频续写（Video-Continuation）三类任务统一为时序预测问题。通过Block-Causal注意力机制，模型能根据输入类型自动切换工作模式：

T2V任务：全噪声标记输入
I2V任务：首帧替换为参考图像
视频续写：多帧替换为原始视频片段

2. 长视频生成技术：突破5分钟连贯壁垒

针对行业普遍存在的长视频质量衰减问题，模型通过三项关键技术实现突破：

原生视频续写预训练：从源头解决时序一致性
Block-Causal注意力机制：支持TV Cache时序缓存
多奖励GRPO强化学习：同步优化画质、动作流畅度、文本对齐度

官方测试显示，生成"人物晨起→洗漱→早餐准备"的5分钟生活场景视频，色彩偏差度低于3.2%，动作连贯性评分达3.74（MOS标准4分制），超越Wan2.2-T2V-A14B（3.70分）。

3. 10倍速高效推理：720P/30fps视频分钟级生成

采用"粗到精"两阶段生成策略：

快速生成480P/15fps低清视频（验证创意）
通过LoRA优化器升级至720P/30fps高清视频

配合Block Sparse Attention稀疏注意力机制，单GPU生成1分钟视频仅需8分钟，8卡并行时可压缩至12秒。社区测试显示，相比同类模型平均2小时的生成耗时，效率提升达10.1倍。

该图展示了LongCat-Video的技术架构，文本、图像、视频等多模态输入经DiT Blocks处理，通过自注意力和交叉注意力机制实现特征融合，最终生成连贯视频序列。这种设计使单一模型能处理多种视频生成任务，为开发者提供灵活的技术底座。

4. 真实场景优化：餐饮零售行业专属增强

针对美团业务场景，模型特别优化两类实用功能：

真实图片动态化：美食、门店照片转视频时保持90%以上细节还原，避免过度美化导致的宣传失真
海报智能动效：自动区分固定元素（文字、Logo）与动态区域（背景、装饰），解决传统模型文字抖动问题

模型性能：开源领域SOTA水平

LongCat-Video的模型评估围绕内部基准测试和公开基准测试展开，覆盖Text-to-Video（文本生成视频）、Image-to-Video（图像生成视频）两大核心任务，从多维度（文本对齐、图像对齐、视觉质量、运动质量、整体质量）验证模型性能：

通过全面的评估显示，LongCat-Video通用性能优秀，综合能力跻身开源SOTA：

136亿参数的视频生成基座模型，在文生视频、图生视频两大核心任务中，综合性能均达到当前开源领域SOTA级别；
通过文本-视频对齐、视觉质量、运动质量、整体质量四大维度评估，其性能在文本对齐度、运动连贯性等关键指标上展现显著优势；
在VBench等公开基准测试中，LongCat-Video在参评模型中整体表现优异。

如上图所示，这是LongCat-Video与Veo3、PixVerse-V5、Wan2.2-T2V-A14B在文本对齐、视觉质量、运动质量、整体质量四个维度的对比柱状图。从图中可以看出，LongCat-Video在整体质量上超越了PixVerse-V5和Wan2.2-T2V-A14B，达到了与Veo3相当的水平，充分体现了其在开源视频生成模型中的领先地位。

行业影响：开源策略重塑视频生成生态

1. 商用门槛归零：MIT许可证释放产业潜力

LongCat-Video采用最宽松的MIT许可证，允许：

免费用于商业产品开发
修改模型权重与代码
二次分发无需开源衍生作品

这与PixVerse-V5（商业授权）、Veo3（完全闭源）形成鲜明对比，预计将推动中小企业视频内容生产成本降低60%以上。

2. 技术普惠效应：开发者生态快速崛起

项目发布两周内，社区已涌现多项创新应用：

CacheDiT加速方案：实现1.7倍推理提速
多语言提示词支持：扩展至日语、韩语等8种语言
移动端轻量化：模型压缩至4.3B参数运行在旗舰手机

3. 应用场景拓展：从内容创作到世界模型

美团技术报告指出，视频生成技术将分三阶段演进：

当前阶段：内容创作工具（营销视频、教学素材）
中期目标：交互式叙事系统（游戏剧情生成、虚拟主播）
长期愿景：物理世界模拟器（机器人训练、自动驾驶场景预测）

快速上手：三步部署你的视频生成系统

环境要求

硬件：NVIDIA GPU（≥24GB显存），推荐A100/H100
软件：Python 3.10+，CUDA 12.4+，PyTorch 2.6.0+

部署步骤

# 1. 克隆仓库 git clone https://gitcode.com/hf_mirrors/meituan-longcat/LongCat-Video cd LongCat-Video # 2. 创建环境 conda create -n longcat-video python=3.10 conda activate longcat-video pip install -r requirements.txt # 3. 下载模型并运行 huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights torchrun run_demo_text_to_video.py --checkpoint_dir=./weights --enable_compile