全球人工智能界正迎来一场关于“AI母语”的技术革新。针对当前大模型普遍存在的“以语言为中心、外挂视觉或语音模块”的拼凑式异构架构,大模型研发团队于近日正式发布并开源了全新原生多模态大模型 LongCat-Next 及其核心的离散分词器,旨在打破模态阻隔,让 AI 能够像处理文字一样原生地理解和感知物理世界。
这一破局之举的核心在于重构了 AI 的底层架构。团队在研究中发现,在统一的建模框架与优化目标下,可以构造出一种语义完备的离散表示。为此,LongCat-Next 引入了全新的 DiNA(离散原生自回归)架构,彻底改变了过去多模态信息仅能“被投影”而无法“被内化”的困境。该架构将图像、声音和文字统一转化为同源的离散 Token,让所有模态在底座模型中共享同一套参数、注意力机制和损失函数。无论是视觉的看与画,还是听觉的听与说,在数学形式上都被收敛为优雅的“下一 Token 预测(NTP)”,从而实现了架构的极简与部署的轻量化。

在“视觉单词”的构造上,团队首创了 dNaViT(离散原生分辨率视觉分词器)技术。该技术支持原生任意分辨率,在处理文档解析和复杂图表推理等细节敏感任务时表现优异。dNaViT 采用8层残差向量量化(RVQ)机制,实现了高达28倍的极致像素空间压缩,并利用解耦的双轨生成解码器确保了图像和文本还原的高保真度。这种设计实现了“图像→Token→图像”的完整闭环,让模型在语言内部真正学习并内生出属于自己的视觉语言。
针对行业公认的“离散化必然损失信息”难题,团队通过构建 SAE(语义对齐编码器)对表征进行层级化拟合,成功在有限的离散空间内逼近高维连续表示,证明了离散表示同样能成为统一理解与生成的完备载体。在以 LongCat-Flash-Lite MoE(68.5B总参数,3B激活参数)为基座的基准测试中,LongCat-Next 展现出了极具工业级潜力的跨模态协同能力。在 OmniDocBench 测试中,其表现不仅超越了 Qwen3-Omni,更击败了专用视觉模型 Qwen3-VL,打破了离散模型不擅长细粒度感知的刻板印象。
此外,该统一框架在实现跨模态协同的同时,并未折损其核心语言能力。数据显示,LongCat-Next 在 MMLU-Pro 和 C-Eval 等纯文本测试中表现持续领先;在工具调用与代码编写上,其 SWE-Bench 成绩显著超越同类模型。在音频领域,该模型同样大放异彩,不仅在 SeedTTS 的中英文语音合成中实现了极低的误字率,还支持低延迟的并行文本语音生成与个性化语音克隆。随着该模型在GitHub与HuggingFace的全量开源,原生多模态技术正迈向更深远的产业落地。
美团发布原生多模态大模型LongCat-Next,突破传统“语言基座+插件”架构,通过DiNA技术将图像、语音与文本统一转化为同源离散Token,实现AI原生“看”与“听”物理世界,完成多模态建模深度统一。
谷歌宣布“Ask Gemini in Drive”功能扩展至Gmail,帮助用户在海量邮件中快速查找特定信息。该功能于三月推出,现向符合条件的Google Workspace、AI Pro和Ultra用户开放。用户需在左侧选择Gmail为查询来源,点击“Ask Gemini”按钮即可使用。
安全研究员Kasra Rahjerdi通过构建含漏洞的图书评论应用,测试主流大语言模型的安全推理能力。他故意暴露谷歌移动端后端服务凭据,要求模型解包并识别以访问数据库。在每场2小时、预算10美元的严格条件下,评估了顶尖模型的表现。
比亚迪执行副总裁李柯证实,公司正推进自研工业人形机器人项目“尧舜禹”,2022年立项,核心研发团队超4000人,原型机已迭代至第七代,双足行走速度1.5米/秒,额定负载50公斤,标志着比亚迪开启具身智能第二增长曲线。
大语言模型在网络安全领域的推理能力正面临严峻考验。安全研究员Kasra Rahjerdi通过构建含有核心漏洞的图书评论APK,对主流大模型进行模拟黑客攻击测试,揭示其安全推理与漏洞利用的真实水平。测试限时2小时、单次预算10美元,直观展现了各模型在复杂逻辑挑战中的表现。

关注 “悠AI” 更多干货技巧行业动态