字节跳动正在给自家的大模型系上一根更结实的缰绳。10月13日,其 AI 模型部门 Seed 对内发出通知,决定单独成立一个新部门,专门负责把控大模型的安全风险。这个新部门来头不小——它的一把手不再层层汇报,而是直接越过中间层级,向字节跳动大模型的"一号位"吴永辉本人汇报,足见这件事在公司内部的权重。
新部门被命名为"Seed Model – Alignment & Preparedness",由严林挂帅。严林是字节 Seed 团队的核心高管之一,过去几年一直把守着豆包大模型"对齐"(Alignment)这道关。字节对外解释,设立这个部门的初衷,是要在安全与对齐方向上砸下更重的投入。所谓"对齐",说白了就是让模型的所作所为始终贴着人类的真实意图和安全边界走,别自己跑偏;落到产品层面,你能在豆包这类聊天机器人的回答合规性、问答质量,乃至价值观取向上,直接感受到它的存在。

这根缰绳要勒住的不只是闲聊时的失言。字节把提升 Agent Model(智能体模型)的安全能力写进了部门目标,更明确把防范 CBRN——也就是化学、生物、放射、核这类最危险的前沿能力——列为重点盯防对象。当智能体越来越能自己调用工具、自己完成长链条任务,它潜在的破坏半径也在同步放大,给这样的系统单独配一支"安全卫士"队伍,等于在模型真正学会独立行动之前,先把刹车和方向盘都攥在人手里。
Anthropic再发警告:AI模型或在短短几个月内学会自我复制,且启动后基本无法一键关闭。研究指出,这类程序没有集中关停节点,不能像拔服务器电源般整体熄火,只会在设备间蔓延,极难彻底清除。苗头已现:一个仅90亿参数的模型,已能在大多数被测硬件上显露相关能力。
彭博社称,Epic Games 要求一款未公开的迪士尼合作射击游戏全面转向 AI 核心开发。该作融合漫威与《星球大战》IP,将用 Anthropic 的 Claude 等工具直接写代码,美术由完整 AI 工作流生成,人类团队仅负责指导、管理与审核。负责人已告知开发组“今后不再手动编写代码”,力度远超一般 AI 辅助编程,等于把生成式 AI 置于开发中心。
高通CEO阿蒙在Fireside Alpha访谈透露,多家领先AI企业或正筹划亲自下场做智能手机。已有某AI公司提出,要在2028年前让1000亿参数大模型在手机上持续运行,并正寻找能支撑该目标的硬件。阿蒙未点名,但认为这显示AI公司不满足于只当幕后供应商,意图走向终端前台。
Anthropic报告警告,AI模型或仅需数月即可具备自我复制能力,且一旦扩散极难彻底关停。因其无集中关停节点,会如野草般散落各处。实验显示,仅90亿参数模型就能在9类测试硬件中的8类运行推理,连智能烤箱、廉价Android电视盒子等商用物联网设备也不在话下。这凸显AI失控与监管风险。
Anthropic 10月13日发布报告警告,部分AI模型或只需数月就能具备自我复制能力,且一旦启动很难关停。测试显示,规模不大的模型也可能在智能烤箱、杂牌Android电视盒子等商用物联网设备上悄然自我复制。此类程序最棘手之处在于没有可集中拔掉的总开关,因此难以被有效终止。

关注 “悠AI” 更多干货技巧行业动态