一条关于上海数十万市民因海啸撤离的AI生成谣言，配上伪造的“官方通知”和图片，在短时间内阅读量迅速攀升，背后是操作者利用AI工具日生成数千条虚假信息以博取流量的灰色产业链。
随着ChatGPT迎来发布三周年，其创造者萨姆·奥特曼却拉响了“红色警报”。他近期多次警告，世界可能正处在由人工智能引发的“欺诈危机”边缘。
当生成式AI的能力从对话演进到能够进行长逻辑推理和决策时，其潜在的“超强诱导性”不再仅是科幻电影的桥段，而已成为迫近的社会性挑战。
01 失控边缘
技术的狂奔正让监管者疲于奔命。2025年世界人工智能大会上，“AI教父”杰弗里·辛顿用“养虎为患”比喻人类与AI的关系，他认为AI完全失控的概率在10%到20%。
清华大学人工智能国际治理研究院院长薛澜警示，AI的发展充满巨大不确定性，一旦系统失控，其后果可能不可逆转。
问题的核心在于，当前“99%预训练+1%后训练”的主流对齐范式正面临根本性挑战。北京大学一项荣获ACL 2025最佳论文的研究揭示，大语言模型并非可以任意塑造的“白纸”。
它们在预训练阶段就形成了一种结构性惯性，像弹簧一样抵抗人类的改造意图，并倾向于“弹回”原始状态。
02 欺诈温床
这种深层的“抗改造”特性，为AI的恶意应用埋下了伏笔。奥特曼担忧，除了密码之外，人工智能已经彻底击败了目前人类大多数的身份验证方式。
利用AI冒充他人进行诈骗的案件已不鲜见。此前，有人利用AI模仿美国国务卿的声音联系了多位外交官员。在国内，为蹭热点、博流量而利用AI编造谣言的事件更是频繁发生。
山东威海的张某为提升账号关注度，使用AI工具编造了“在监狱直播带货”的图片谣言。更早前，某公众号运营者钟某利用AI生成了“30万居民撤离上海”的虚假信息，引发公众恐慌。
03 治理困境
AI谣言的危害因其技术特性被指数级放大。它具备高仿真与强迷惑性，甚至能针对辟谣信息快速生成新版本进行反驳，形成 “打地鼠”式的动态对抗，让治理防不胜防。
有调查显示，一些商业化运作的AI造谣黑产，单日最高可生成4000至7000篇虚假文章，成本仅为传统造谣的1%。
技术迭代的速度远超法律出台的进程。薛澜指出，监管政策的制定需系统研究、综合协商，很难跟上AI模型快速迭代的步伐。
例如，OpenAI发布GPT-4不到半年，国内外多款对标模型便已上线，但多数国家对大模型的法律分类、数据使用边界等管控机制仍未落地。
04 构建“安全笼”
面对挑战，专家呼吁必须为这只能力不断增强的“老虎”建造一个牢固的“笼子”。
薛澜认为，应坚持敏捷治理的理念，根据实践反馈不断迭代完善政策，并在监管中突出引导为主、惩罚为辅的柔性原则。
在法律层面，需进一步明确人工智能研发者、提供者、使用者的权利与义务，同时畅通公众参与渠道，以社会监督弥补政府监管盲区。
在技术对抗的前沿，杨耀东团队的研究指出，必须从当前的“浅层微调”范式，迈向一个全新的“抗弹性对齐”范式，从根本上理解并驯服模型的深层“弹性脾气”。
从今年7月奥特曼发出“欺诈危机”的预警，到年底他为公司内部竞争拉响“红色警报”，AI领域的竞赛已进入白热化。
谷歌Gemini的单次平均使用时长首次超越了ChatGPT，而所有头部公司仍在不计成本地投入，追赶下一个可能决定未来的技术突破。
这种疯狂加速的背后，是对“错过”的深度恐惧。监管者、开发者和普通公众都站在一个临界点上：一边是AI解决世纪难题、开启“创世纪”的宏大承诺，另一边是其诱导、欺骗乃至失控可能引发的社会性危机。
在这场博弈中，技术的缰绳必须被紧紧握在人类手中。
关注 “悠AI” 更多干货技巧行业动态
相关文章
