百度开源2800亿参数文心5.5Flash Base,多项…

AI广播站4小时前更新 小悠
3 0 0

11月5日,百度正式开源全新基座模型文心5.5Flash Base,在知识、推理、数学、代码、多语言和长上下文等多项基准测试中刷新同尺寸模型SOTA表现,超越DeepSeek-V4-Flash-Base、Hy3-preview-Base等同类模型。

该模型采用MoE架构,总参数量达2800亿,激活参数140亿,使用33.5万亿Token完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。

百度开源2800亿参数文心5.5Flash Base,多项基准测试刷新同尺寸SOTA

围绕效率主线,文心5.5Flash Base在系统层进行多项算法创新。注意力机制上引入Latent-Gated Sparse Attention,组合HCA与MLA压缩历史信息并细粒度访问历史位置,利用低秩门控注意力使门控投影权重参数减少75%,同时通过虚拟头注意力提升表达力。

专家路由上采用Multi-Router Latent MoE,以多独立路由器改善专家选择效用。在训练目标上引入ECHO,复用主干最后一层学习预测后续Token,免去额外MTP模块。大模型基建方面,优化分布式Muon优化器并推出FlashMask-4注意力算子,进一步提升大规模训练的通信与显存利用效率。

当前大模型竞争正向模型能力、训练效率与场景创新协同演进。文心5.5Flash Base的开源在降低专业模型开发门槛的同时,为开发者构建定制化专业模型提供了高效的技术底座。

深度求索发布轻量级多模态模型DeepSeek V4.1Flash,为系列最小尺寸。其采用552B参数MoE架构,创新引入Causal-Encoder-Decoder结构,具备原生视觉理解能力,旨在提升能力上限、推理速度与吞吐量,并具备向更大模型扩展潜力。

科大讯飞发布星火X2.5大模型,采用MoE混合专家架构,参数规模达293B-A30B,在架构设计、核心能力及国产算力适配方面全面升级,重点强化代码编写与智能体(Agent)应用开发能力。

科大讯飞发布星火X2.5大模型,采用MoE架构,参数规模293B-A30B,重点提升代码与智能体能力,并增强数学、理解等通用能力。该模型基于全国产算力完成训练推理,优化国产超长序列训推难题,已上线讯飞开放平台。端侧4B和1.7B模型已先行开源,支持最长100万Token上下文。

百度8月27日宣布将香港第二上市转为双重主要上市,2026年9月1日生效,成为纳斯达克与港交所两地首家全栈AI双重主要上市公司。转换不涉新股发行和融资;截至2026年6月底现金及投资达2831亿元,经营现金流连续四季为正。按现行规则,最快有望9月7日纳入港股通。

百度2026年第二季度总营收313亿元,一般性业务收入252亿元,其中AI业务占比达50%,连续两季度过半。李彦宏称公司正加速向AI优先型企业转型。二季度AI云基础设施收入73亿元,同比增长50%;GPU云同比增长283%,连续四个季度三位数增长。IDC报告显示百度智能云在金融、游戏等领域领先。

百度开源2800亿参数文心5.5Flash Base,多项…

关注 “悠AI” 更多干货技巧行业动态

© 版权声明

相关文章

没有相关内容!

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...