美团开源LongCat-2.5,长序列SFT单卡吞吐较DD…

AI广播站7小时前更新 小悠
1 0 0

美团11月10日开源LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练,无需额外授权。模型面向长程智能体任务,为原生多模态架构,总参数1.6万亿、每个token激活约480亿参数,支持一百万上下文,在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景的端到端交付能力明显提升,权重上线HuggingFace,同步开放技术博客与API平台。

能力提升源于整条训练链路的扩展。视觉表征层将视觉信号表示为多层级离散token,与文本同由主干统一处理而非外挂视觉模块,对原生分辨率特征做残差向量量化、逐级补足细节,视觉码本与主干联合训练,视觉token可离线缓存。专业办公侧强化材料处理与专业判断,报告、演示文稿及办公工具可端到端交付。

美团开源LongCat-2.5,长序列SFT单卡吞吐较DDP提升86%

推理采用W4A4方案,将专家权重与激活量化至4bit,由原生INT4矩阵乘法单元执行,以FlatQuant优化MoE量化精度,下游表现与量化前相当,配合专用融合算子降低成本。训练与监督微调均采用长序列训练,针对国产AI加速器单卡显存不足80GB,以FSDP双重分片、混合词表并行分散显存压力,该配置在长序列SFT中单卡吞吐量较DDP基线提升86%,为万亿参数MoE开源部署提供效率基础。

美团表示,MIT协议意在支持模型自由使用、修改与再分发,后续将持续开放模型与工程经验。在显存与带宽受限条件下承载万亿参数MoE,延续了大模型竞争从参数规模转向工程落地与国产算力适配的趋势。

11月3日,美团正式推出面向长程智能体任务的原生多模态大模型LongCat-2.5。作为LongCat-2.0的重大迭代,其在原生视觉理解与智能体编程能力上全面升级,多项权威测试与海外顶尖大模型同台竞技并多项指标登顶。模型采用1.6万亿总参数体系,赋能端到端工程能力。

美团龙猫11月2日发布LongCat-2.5,定位长程智能体任务的原生多模态模型,总参数1.6万亿,每token激活约480亿。它在LongCat-2.0基础上强化原生视觉理解与智能体编程,在线体验和API已开放,GitHub与HuggingFace权重将上线。技术上,视觉信号被表示为多层级离散token,沿用LongCat-Next语义对齐编码器并施加残差向量量化,支持原生分辨率离散化。

美团核心本地商业CEO王莆中首次系统分享内部AI变革,指出当前AI供给丰富,但能统计可测量收益的企业仍少。根源在四重错配:认知上夸大或轻视,效率上仅用于日常事务未触达核心,场景上游走边缘未融入经营,考核上急功近利忽视内部适配。四重错配叠加,使大量AI投入难以转化为实际收益。

美团7月27日否认LongCat团队基础模型负责人裴鹏离职传闻,称消息不实。裴鹏毕业于北大,2023年加入美团,先后任基座模型预训练负责人及LongCat基础模型负责人,全面主导大语言模型、多模态模型与Agent智能体的研发,并牵头万亿参数大模型LongCat-2.0的研发与落地。

美团“小店有AI”行动首场线下体验在北京举行,标志赋能中小商户数字化升级进入推广阶段。专题专区上线,面向全国百万餐饮小店免费开放AI经营课程。针对小微餐饮运营成本高、决策难等痛点,美团推出“AI小管家”等AI工具矩阵,助力降本增效。

美团开源LongCat-2.5,长序列SFT单卡吞吐较DD…

关注 “悠AI” 更多干货技巧行业动态

© 版权声明

相关文章

没有相关内容!

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...