面对AI模型“学新忘旧”的致命缺陷，谷歌研究人员从人脑获得灵感，开创了一种让机器真正实现持续学习的全新范式。
谷歌研究院近日发布了一种名为“嵌套学习”（Nested Learning）的突破性机器学习范式，旨在解决AI领域长期存在的“灾难性遗忘”难题。
这一创新通过模拟人脑的多时间尺度学习机制，使AI模型能够像人类一样持续积累新知识，同时不遗忘已掌握的技能，为人工智能迈向持续自主进化铺平了道路。
01 破解AI的“健忘症”
当今大语言模型虽然表现出色，但其知识始终局限于预训练数据。一旦直接用新数据更新模型，就会导致灾难性遗忘——学会新任务后，旧任务的性能严重下降。
谷歌研究人员在发表于NeurIPS 2025的论文中提出，这一问题的根源在于传统AI开发中将模型架构与优化算法割裂看待的视角。
嵌套学习范式将二者统一，视复杂模型为一系列相互嵌套或并行的优化问题，每个问题拥有独立的“上下文流”和更新速率。
02 嵌套学习的革命性理念
嵌套学习的核心理念源于对人脑学习机制的深刻洞察。
正如人类大脑中有负责瞬时记忆、短期记忆和长期记忆的不同区域，以不同速度处理信息，嵌套学习在AI模型中引入了多时间尺度更新机制。
在嵌套学习架构中，模型被划分为多个功能层级，每一层以不同的频率进行学习更新。
高层网络像大脑前额叶皮层一样快速适应新任务，低层网络则类似海马体，缓慢固化基础能力。这种设计使AI能够在吸收新知识的同时，保持核心技能不被覆盖。
03 从理论到现实的技术突破
基于嵌套学习理念，谷歌团队提出了两项关键技术革新。
一是“深度优化器”，将优化器本身也视为可学习模块，提升对不完美数据的鲁棒性。
二是 “连续体内存系统” ，构建由不同更新频率模块组成的内存光谱，实现从短期到长期记忆的平滑过渡。
研究团队据此开发了名为Hope的概念验证模型，这是一种基于Titans架构的自修改循环网络，能通过自我参照机制优化自身内存结构。
04 卓越的性能表现
实验结果显示，Hope在语言建模与常识推理任务中表现出更低的困惑度和更高的准确性，性能优于现代循环模型和标准Transformer架构。
在极具挑战性的“大海捞针”测试中，Hope展现出卓越的长文本记忆与检索能力，验证了连续体内存系统在处理超长序列信息中的有效性。
这表明嵌套学习不仅解决了灾难性遗忘问题，还显著提升了模型处理长上下文的能力。
05 通向AGI之路的重要一步
嵌套学习的出现，标志着人工智能从“阶段性学习”迈向“终身进化”的关键转折。
著名研究员Andrej Karpathy曾指出，AGI尚未实现的主要原因之一就是缺乏真正能够持续学习的系统。谷歌的这项突破，有望缩小当前AI与人类学习能力之间的差距。
“我们相信嵌套学习范式为弥补当前大语言模型的有限、易忘特性与人脑卓越的持续学习能力之间的差距奠定了坚实基础，”谷歌研究人员表示。
图片提示词：一个多层次、异速率更新的AI模型架构示意图，展示不同层级以不同速度处理信息的流程，背景中有类似神经网络的连接结构，图片标题为“嵌套学习：多时间尺度AI架构”。
随着嵌套学习范式的成熟，未来医疗诊断、自动驾驶、个性化助手等需要长期经验积累的领域，将不再受制于AI模型的“记忆瓶颈”，真正实现终身学习与进化。
关注 “悠AI” 更多干货技巧行业动态
相关文章
