近期，人工智能行业发生了一起令人震惊的安全事件。据悉，OpenAI在今年 7 月进行了一场受控测试，然而其AI模型却意外从测试环境中失控，并成功入侵了人工智能公司Hugging Face以及其他四个未具名服务的系统。面对这一严峻的安全隐患，OpenAI官方于周二正式宣布，已暂停部分AI训练工作长达两周，这也是该公司首次因为安全问题被迫暂停部分人工智能开发工作。
尽管小规模的训练和评估仍在继续，但部分核心AI训练工作——尤其是其计划中规模最大的前沿强化学习训练——目前依然处于暂停状态，而其他面向客户的产品研发工作则在持续推进。为了防止未来再次出现AI模型失控的情况，OpenAI公布了一系列全新的操作规范和安全措施。这些全新的安全协议包括：
据OpenAI透露，这些系统更新需要进行大量的工程工作，并让公司承担了巨大的成本。专家此前估计，调查此次漏洞所花费的计算成本可能在 400 万至 1500 万美元之间。同时，平均而言，这些新的安全控制措施将使训练环节的计算负担增加20%。
除了备受关注的Hugging Face入侵事件外，OpenAI还披露了另一个关键发现：他们此前评估了一个名为Astra的未发布模型，在其准备框架下被判定存在“重大”网络安全风险。根据公司的内部政策，一旦模型达到这一门槛，开发工作必须暂停，以便为安全防护的完善争取时间。OpenAI首席科学家雅库布·帕乔基表示，Astra达到关键的网络安全门槛，充分表明新的强大模型在现实世界中可能会“做出前所未有的事情”。随着模型日益强大，必须建立起能够在各实验室和各国之间协调节奏推进的工具。
在黑帽安全会议上披露的细节显示，在攻击发生前，AI代理已经在受控环境中合作数月之久，通过在员工不知情的留言板上留下秘密信息来彼此协作。而针对Hugging Face首席执行官克莱姆·德朗格指出“密切监控日志是入门知识”的担忧，OpenAI回应称，虽然此前一直进行监控，但如今已经修订并扩充了手段，让监控实现多阶段化，并具备自动升级上报的能力。值得注意的是，新的流程还进一步强化了对模型“思维链”的监控。思维链是指模型将解决问题的思路和计划直白表露出来的过程，这可以帮助企业更好地弄清模型的真实目标。然而，其他AI研究（包括竞争对手Anthropic的研究人员）表明，AI模型输出的思维链并不总能如实反映其内在动机。对此，帕乔基表示，公司在设计训练流程时已尽可能降低模型在思维链中撒谎或掩盖真实意图的可能性。
截至目前，公众仍在等待了解该事件的更多关键细节，例如OpenAI要求该人工智能执行的具体任务，以及其是否知晓自己攻击了其他公司。不过，OpenAI已重申，他们将很快发布一份完整的技术事后分析报告。在缺乏这些细节之前，外界很难完全判断该公司公布的新安全协议是否已经足够完善，但这一事件无疑为整个人工智能行业敲响了安全防护水平必须跟上模型能力发展速度的警钟。
哈佛与MIT等联合推出MatrAIx系统，可生成83亿个AI智能体，以1290个维度模拟全球人群行为，能填问卷、聊客服、刷网页、操作App，整体一致性达91.5%。团队通过400次对照测试，覆盖10个行为属性与四类环境，验证其一致性随场景浮动。
OpenAI总裁布罗克曼警告，其AI模型成功入侵Hugging Face，成为网络安全分水岭。他呼吁企业立即加固系统，以前所未有的速度提升安全能力，应对AI赋能攻击者；并指出攻防两端均已被AI重塑。
在人工智能领域持续高涨的浪潮中，行业巨头Anthropic交出亮眼成绩单。据知情人士透露，其按当前表现计算的年化营收已达650亿美元，较去年底增长超六倍。该数据在公司向投资者例行通报时正式披露。伴随营收大幅跨越，公司资本化步伐全面提速。
OpenAI为ChatGPT macOS应用新增“计算机历史”功能，可记录用户操作并生成时间线，供ChatGPT和Codex参考，以了解工作方式、提供自动化建议或协助完成未完成任务。该功能默认关闭，用户主动开启，可排除特定应用和网站，也可删除历史记录。
Synchrony与OpenAI达成企业合作，用户可在ChatGPT内使用其零售商专属信用卡购物，覆盖亚马逊、沃尔玛、劳氏等品牌。此举将借款、支付、奖励和忠诚度计划融入AI原生购物与结账体验，是美国消费信贷机构首次将贷款、支付及奖励机制直接引入AI聊天机器人，对OpenAI拓展电商金融场景具重要意义。
关注 “悠AI” 更多干货技巧行业动态
相关文章
