百度ERNIE 4.5-A3B：210亿参数文本大模型免费开放！

百度ERNIE 4.5-A3B：210亿参数文本大模型免费开放！

【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle

百度ERNIE系列再添新成员，210亿参数的ERNIE-4.5-21B-A3B-Base-Paddle文本大模型正式免费开放，标志着国内大模型技术在开放生态建设上迈出重要一步。

近年来，大语言模型（LLM）领域呈现爆发式发展，模型参数规模不断突破，应用场景持续拓展。然而，高性能大模型往往伴随着高昂的使用成本和技术门槛，限制了其在中小企业和开发者群体中的普及应用。在此背景下，百度此次开放210亿参数级别的ERNIE 4.5-A3B模型，无疑为行业注入了新的活力，有望推动大模型技术的民主化进程。

ERNIE-4.5-21B-A3B-Base作为一款文本专用的混合专家模型（MoE），其核心亮点在于创新性的架构设计与高效的性能表现。该模型总参数达到210亿，而每个token的激活参数为30亿，这种设计在保证模型能力的同时，有效降低了计算资源消耗。模型采用28层网络结构，配备20个查询头和4个键值头，并包含64个文本专家（每次激活6个）和64个视觉专家（每次激活6个），以及2个共享专家，支持长达131072 tokens的上下文长度，为处理超长文本任务提供了强大支撑。

在技术创新方面，ERNIE 4.5系列采用了多模态异构MoE预训练技术，通过异构MoE结构、模态隔离路由以及特殊的损失函数设计，实现了文本与视觉模态的有效协同训练，提升了模型在跨模态推理任务上的表现。同时，百度构建了高效的模型训练与推理基础设施，采用异构混合并行和分层负载均衡策略，结合FP8混合精度训练、细粒度重计算等技术，显著提升了训练吞吐量。在推理优化上，通过多专家并行协作和卷积码量化算法，实现了4位/2位无损量化，进一步降低了部署门槛。

对于开发者和企业用户而言，ERNIE-4.5-21B-A3B-Base的开放意味着更多可能性。基于PaddlePaddle深度学习框架，开发者可通过ERNIEKit工具包便捷地进行模型微调（如SFT、LoRA）和对齐训练（如DPO），快速适配特定业务场景。在部署方面，借助FastDeploy，用户可实现模型的快速服务化部署，单卡部署仅需80G GPU内存资源，降低了硬件要求。

此次百度开放ERNIE-4.5-21B-A3B-Base模型，不仅丰富了国内开源大模型生态，更为AI技术的普惠化发展提供了有力支撑。一方面，中小企业和开发者能够以更低成本获取高性能大模型能力，加速AI应用创新；另一方面，开放的模型也将促进学术界和产业界的技术交流与合作，推动大模型技术的持续迭代。随着模型能力的不断提升和应用成本的降低，我们有理由相信，大语言模型将在更多领域落地生根，为千行百业的智能化转型注入新动能。

【免费下载链接】ERNIE-4.5-21B-A3B-Base-Paddle项目地址: https://ai.gitcode.com/hf_mirrors/baidu/ERNIE-4.5-21B-A3B-Base-Paddle