Anthropic 发布 MAMUBench:多智能体团队…

AI广播站4小时前更新 小悠
3 0 0

随着人工智能深度融入日常生活与工作,越来越常见的一个场景是:多个用户各自委派自己的 AI 助手去共同完成一项任务,比如共享 API 算力预算、协同处理诊所日历、一起凑单点外卖,或者在共享代码库中提交合并请求。然而,当这些各自为战的 AI 聚在一起时,它们的协作表现究竟如何?

针对这一前沿课题,Anthropic Fellows Program 团队近日构建了四个多用户多智能体模拟环境,并正式发布了其中三个环境作为全新基准——MAMUBench。通过在测试中对比来自 Anthropic、OpenAI 以及阿里巴巴的前沿大模型,研究人员揭示了多用户、多智能体系统在协作中面临的深层隐患。

Anthropic 发布 MAMUBench:多智能体团队协作为何常常“一盘散沙”?

核心实验发现:单兵作战的团队协作表现,为何全面输给单一协调者?

在评测中,研究人员对比了多种组织形式,包括单个智能体服务多人的“协调者”模式,以及每个用户各配一个智能体、彼此通过点对点沟通的团队模式。

测试结果显示,在全部四个模拟环境中,由单个智能体全局统筹的表现,全面优于每个用户各自分配一个智能体的点对点团队模式。以 Claude 模型为例,在所有场景取平均后,协调者模式的整体表现比点对点团队高出10到45个百分点。

通过深入剖析,研究团队发现多用户多智能体团队在实际运行中主要暴露出以下几个典型问题:

行动迟缓与规模失灵: 在共享 API 密钥等动态环境中,随着团队规模从4个智能体扩大到16个,选择采取实际行动的智能体比例出现了大幅下降。许多智能体往往行动太少、太晚,导致一些低价值的任务白白耗尽了剩余时间,进而拖累了整体任务的完成。

越权干涉与信息捏造: 部分厂商的模型(如 GPT 和 Qwen 系列)在运行中会未经其他用户同意,擅自取消或中止对方的任务。而在个人助理等协同场景中,由于信息被分割在各个智能体的私有笔记中,智能体为了填补空白,经常会捏造出完全不符合事实的断言,将一个用户的意愿强加给其他人。

竞态条件与请求覆盖: 在团队订餐或预订等场景中,尽管94% 到99% 的情况下用户的特殊诉求都传达到了最终负责结账的智能体,但由于智能体急于下单,往往在看完所有消息之前就完成了结算,甚至在共享购物车中频繁覆盖队友的请求。

寻找解法与未来启示:如何修复多智能体团队的协作失灵?

针对上述痛点,研究团队进一步测试了多种针对性的缓解措施,发现有效的修复方案因环境而异:

明确责任人与优先级: 在 API 密钥共享场景中,通过指定一名团队负责人,并明确指示其按价值对任务进行排序并充分利用预算,能够有效弥合对等团队与全局协调者之间的差距。

设立平台级防护机制: 在个人助理等涉及结账和订单的场景中,单纯依靠提示词效果有限。一种行之有效的办法是引入平台级防护——在智能体读完所有待处理消息之前,强制阻止其结账操作,这一简单的机制成功挽回了绝大多数因急躁而失败的团体订单。

研究指出,多用户、多智能体系统带来的风险不仅是群体表现变差,更可能因为替不同用户行事的智能体产生冲突,从而伤害系统中的其他人。这表明,未来的技术评估不仅要看最终的群体结果,更要细致审查智能体的具体行为。从平台层的防踩踏机制,到训练智能体更好地沟通与达成一致,建立更加安全、高效的多智能体协作生态将是整个行业接下来需要共同攻克的重要课题。

Anthropic升级Claude交互式连接器,推动AI与日常办公软件融合。新版在原有实时小视图上,支持用户在连接器中于对话旁打开工具,并可全屏展开,实现Claude与用户并肩协作、直接修改内容。该功能正逐步向网页版和桌面应用所有套餐推送,体验从侧边预览升级为全屏实操。

11月12日,Anthropic为Claude API新增Beta能力:开发者可在同一段对话的消息流中随时调节effort档位,动态权衡回答充分度、响应速度与成本。切换无需重开会话,缓存不掉线,只需在消息序列中插入一条空白system消息,打破以往一段会话只能使用一套固定参数的限制。

总部伦敦的AI芯片初创Fractile(2022年成立)完成7.2亿美元新融资,投后估值达70亿美元,较5月约11亿美元大幅跃升,跻身英国估值最高初创行列。投资方包括多家硅谷知名风投、谷歌旗下独立风投及英国政府主权AI基金,文章还提及其独创半导体技术。

彭博社援引匿名消息人士报道,OpenAI第三季度营收首次突破100亿美元,较第二季度67亿美元增长近50%,显示公司正从今年早些时候的增长放缓中恢复。强劲市场需求及近期AI模型推出是主要推动因素。同期,调整后营业利润率从二季度的-150%收窄至三季度的-109%,盈利状况有所改善。

Anthropic推出面向企业用户的系列新功能,进一步拓展AI在办公场景的应用。此次发布涵盖Claude Meetings、Claude Whiteboards、Claude Sheets和Claude Data,构建覆盖团队协作全流程的工具矩阵。其中,会议助手与白板已上线,可实时跟进讨论并自动生成工作区,提升团队协作效率。

Anthropic 发布 MAMUBench:多智能体团队…

关注 “悠AI” 更多干货技巧行业动态

© 版权声明

相关文章

没有相关内容!

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...