文章详情

专注互联网科技,赋能企业数字化发展

百度发布文心 5.1 模型

作者:百度发布文心 5.1 模型

百度正式上线文心 5.1,这次重点不是继续堆参数,而是把旗舰能力压到更低成本里。官方数字很直接:总参数约为文心 5.0 的 1/3,激活参数约为 1/2,预训练算力成本约为业界同规模模型的 6%。5 月 9 日,它在 Arena 搜索榜以 1223 分排全球第 4、国内第 1。 文心 5.1 基于文心 5.0 训练,核心是 Once-for-All 弹性训练。传统做法常为不同规模模型分别预训练,它则在一次预训练中动态采样多个子模型,再从子模型矩阵里选更优结构。弹性深度随机跳过部分 Transformer 层并共享权重,弹性宽度调控 MoE 专家池,弹性稀疏度用可变 Top-k 路由平衡推理成本和能力。后训练侧,RL Controller 解耦训练、推理、奖励和 agent loop;R3 用来缓解 MoE 训推路由偏差,开启后 KL 散度下降 50%。 生态上,文心一言和星河社区 Playground 已开放体验。百度披露,文心 5.1 在 τ³-bench、SpreadsheetBench-Verified Agent 上超过 DeepSeek-V4-Pro,在 GPQA、MMLU-Pro 上接近领先闭源模型,AIME26 使用工具时得分 99.6。创作场景会接入 ISEKAI ZERO、Mulan AI、谛听幻流、Storymaster 等平台。 我的判断是,这次更应该看效价比,而不是只看榜单名次。对做企业智能体和内容生产工具的团队来说,如果 6% 预训练成本能被第三方验证,模型迭代和私有化部署的预算压力会下降。需要注意的:Agent 和创作指标多来自厂商披露,真正上线还要看多步任务稳定性、工具调用失败率和长上下文一致性。 如果你在做企业 Agent,会优先测试文心 5.1 的成本优势,还是它在真实多步任务里的失败样本? #AI #百度 #文心一言 #大模型 #Agent开发 #MoE模型 #模型训练成本

返回新闻列表