baidu/ernie-4.5-21B-a3b

ERNIE-4.5-21B-A3B 是百度推出的高效能混合专家（MoE）大语言模型，总参数210亿、激活参数仅30亿，核心定位为“小激活、大能力”的轻量级旗舰文本模型，兼顾高性能推理与低计算成本。

• 参数高效设计：21B总参数中每 token 仅激活3B，显著降低推理资源消耗，性价比优于稠密30B级模型
• 长上下文支持：最大上下文长度达120000 tokens，轻松处理长文档、复杂对话等场景
• 多模态架构复用：虽为纯文本模型，但复用文心4.5多模态MoE结构，含64个文本专家（激活6个）+2个共享专家
• 性能超越竞品：在BBH、CMATH等推理与数学基准上超越Qwen3-30B-A3B，实现“更小更强”
• 全生态兼容：提供PyTorch/飞桨双格式，支持vLLM、OpenAI协议，FastDeploy一行部署，Apache 2.0开源商用

───────────────────────────────────────────────────────────────────

核心能力

⚡ 高效MoE推理：仅激活3B参数实现21B模型性能，推理成本大幅低于同级稠密模型

📚 131K超长上下文：支持超长文本理解与生成，适用于法律、科研、客服等复杂场景

🧠 专家协同架构：64个文本专家+动态路由机制，精准匹配任务需求，提升生成质量

🏆 SOTA推理能力：在数学、逻辑、知识问答等任务上超越更大参数竞品

🛠️ 开箱即用生态：兼容transformers/vLLM，FastDeploy支持OpenAI API，快速集成现有系统

🔓 商业友好开源：Apache 2.0协议开放，支持精调（SFT/DPO/UPO）、量化、私有部署