全新MoE基座正式对外开源
11月5日,百度文心大模型对外放出ERNIE‑5.5‑Flash‑Base预训练权重,这款面向二次开发的基座模型采用稀疏混合专家MoE架构,面向企业开发者与AI研究人员开放使用。
需要注意,本次对外释放的权重只完成预训练流程,没有经过后续的对齐、指令优化等后训练工序。它并不适合直接拿来做对话产品,更多是作为领域定制、指令微调以及强化学习实验的基础底座。官方同时透露,经过完整后训练调优的ERNIE5.5Flash版本,会在后续时间推出。

模型核心参数与上下文能力
从硬件计算角度看,这是一款典型的稀疏大模型,整体总参数规模达到280B,而每一段token参与运算时实际只激活14B参数。这种设计可以在保有大模型知识容量的前提下,压低推理阶段的计算消耗。
整套模型从零起步完成预训练,训练数据总量达到33.5Ttokens。在预训练阶段,模型最长处理上下文为128K。当进入微调以及线上推理环节,它的上下文能力可以拓展至1Mtokens,足以应对超长文档解析、完整代码仓库读取这类高门槛业务场景。
训练过程当中,研发团队选用分布式Muon优化器,搭配FP8混合精度训练方案,适配数千卡集群的大规模训练任务。针对跨机器通信的痛点,这套训练系统把稠密参数与MoE专家参数的集合通信合并,以此减少多机之间的通信延迟与波动问题。
三大方向打磨高质量训练语料
想要基座模型具备多元能力,高质量数据集是重要基础。研发团队从网页、代码、长文本三个维度搭建训练语料库。
网页部分会做多语言原始网页抓取,对文本做高质量提取,再依靠模型做多维度质量筛选,过滤低质量、噪声内容。
代码数据集除了收集公开仓库网页代码,还会剔除非代码片段,完成去重以及质量分级。同时大量纳入软件开发全流程数据,包含提交记录、问题反馈、合并请求、代码评审、自动化测试,还有经过CI验证的程序修复案例,强化模型对软件开发逻辑的理解。
长文本素材来源分为几类,包含现实场景收集的原生长文档,混入干扰文本构造的长序列样本,还有人工合成的检索问答、多跳推理问答样本,用来强化模型处理长序列信息的基本功。
算子与架构层面的专项优化
算子层面,ERNIE‑5.5‑Flash‑Base搭载基于CuTe‑DSL开发的FlashMask‑4注意力算子,能够适配SM90、SM100两代硬件架构。算子支持不同维度的头维度配置,可以直接适配HCA层512维宽头的计算需求。
整个网络一共43层,其中37层会在经过128倍压缩的序列上面执行注意力运算,依靠剩下6层MLA‑DSA模块完成细粒度信息检索,在长序列场景实现性能与开销的平衡。
多维度基准评测交出参考结果
为客观衡量基座模型的综合水平,百度选取30项基准测试集开展评测,覆盖综合考试、知识储备、理科推理、逻辑推演、多语言、代码编写以及长上下文七大方向。
为保证对比公平,研究团队选取DeepSeek‑V4‑Flash‑Base、Hy3‑preview‑Base、MiMo‑V2.5‑Base三款同类型基座,全部采用公开可用的模型检查点,使用同一套评测框架开展横向比对。综合测试结果显示,ERNIE‑5.5‑Flash‑Base在各项能力维度均取得不错表现,完整详细的各项分数,可查阅HuggingFace平台上的官方模型卡片。
目前开发者可以在Hugging Face获取FP8与BF16两种精度的权重文件,配套的微调示例代码也已经公开,方便研发人员快速上手开展二次开发工作。
(素材来自:百度文心 智算芯能前沿网综合)
本文由智算芯能前沿网编辑整理,转载请注明出处。
