港中深联合微软研究院提出 ConvexLLM:让声音跳过转…

AI广播站13小时前更新 小悠
1 0 0

在语音与多模态人工智能的演进中,如何让大模型更自然、更直接地“听懂”声音并完成复杂推理,一直是业界探索的核心方向。近期,香港中文大学(深圳)与微软研究院联合提出了名为 ConvexLLM 的多模态统一建模新架构,为语音与语言的融合提供了全新的技术思路。

核心创新:C-Gate 架构与“凸包映射”原理

港中深联合微软研究院提出 ConvexLLM:让声音跳过转写,直接调用大模型推理能力

传统语音交互链路往往需要先将语音转写为文本,再交由大语言模型处理,这不仅可能带来信息损耗,也增加了中间环节的延迟。

ConvexLLM 则通过创新的 C-Gate 架构,将语音等音频信息直接映射到大语言模型原有的文本词向量“凸包”之中。具体而言,该架构利用冻结词向量的非负加权组合来生成音频表示。通过这种方式,声音信号无需先转写为文本,便能够直接接入并调用大模型在预训练阶段积累的庞大知识与推理能力,从而实现语音与语言的统一建模。

评测表现与泛化能力:基准测试领先,支持多类音频理解

在能力验证方面,ConvexLLM 展现出了较为突出的性能表现。在 VoiceBench 等多项基准测试中,该架构取得了同量级开源模型的领先成绩;其中在 BBH 任务上,更是比最强基线高出了8.8个百分点。

除了语音交互之外,ConvexLLM 还具备良好的多场景适配能力,能够同时支持环境声、音乐等多种类型的音频理解任务,进一步拓展了统一音频建模的应用边界。

联想公布2026/27财年第二季度业绩,单季营收首破2000亿元,同比增近50%;调整后净利润超90亿元,同比增166%,净利润率升至4.5%,均创历史新高。杨元庆称“AI这一仗,联想志在必得”。AI相关营收同比增近80%,占集团36%;三大业务集团均破纪录。

据报道,快手前本地生活负责人、可灵AI商业产品负责人刘逍近期已离职,离职前职级为E15。截至发稿,可灵AI官方尚未回应。知情人士称,快手OA系统仍可查到刘逍信息。公开资料显示,其本科毕业于浙江大学,硕士毕业于清华大学,曾任复星集团高级投资经理、新氧首席运营官。

实时多模态交互正朝更自然、流畅演进。火山引擎正式上线豆包实时音视频通话模型 SeedRealtime1.0 的 API 服务,为开发者与应用提供全新实时音视频交互能力。该模型采用端到端统一建模,打破传统语音及多模态架构中 ASR、VLM、TTS 等多模块串联的级联链路瓶颈,减少级联处理带来的问题,提升实时交互体验。

网友质疑湘雅系论文“1厘米标尺刻12格”。中南大学通报,已核查湘雅二医院、湘雅医院3篇论文的实验记录、原始数据与投稿记录,经校学风建设委员会审议,认定三篇均构成学术不端。三篇论文涉及三种病,横跨三本期刊,包括2025年《Journal of Translational Medicine》鼻咽癌研究,一作邓某某。

富士康旗下富智康获OpenAI手机项目订单,将参与整机组装。富士康也是苹果iPhone主要组装商。若OpenAI手机面市,将进入智能手机终端市场,围绕AI交互体验与现有品牌直接竞争。报道称,OpenAI首款AI硬件计划2026年底出货,多家中国厂商参与,立讯精密独家负责整机制造,并供应核心部件。

港中深联合微软研究院提出 ConvexLLM:让声音跳过转…

关注 “悠AI” 更多干货技巧行业动态

© 版权声明

相关文章

没有相关内容!

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...