大语言模型（LLM）的推理性能瓶颈正在被新技术打破。近日，Moonshot AI（月之暗面）与清华大学研究团队联合提出了一种名为**预填充即服务（PrfaaS）**的新型架构。该研究旨在通过优化算力资源分配，解决大模型服务在数据中心部署时面临的硬件限制，显著提升了推理效率。
目前，大语言模型的推理过程主要分为两个差异化的阶段:
预填充阶段（Prefill）: 属于计算密集型，负责处理输入并生成键值缓存（KVCache）。
解码阶段（Decode）: 属于内存带宽密集型，负责逐字生成输出。
在传统的服务架构中，这两个阶段通常被挤在同一个数据中心甚至同一台服务器内处理。由于两者对硬件资源的需求截然不同，这种“强行捆绑”往往导致计算资源与带宽之间的分配失衡，进而引发服务拥堵。
PrfaaS架构的核心亮点在于实现了解耦式服务。它将高计算密集的预填充任务卸载到专门的高计算集群上。任务完成后，系统利用通用的以太网技术，将生成的KVCache远程传输至本地解码集群。
这种设计打破了物理空间的限制，使得预填充和解码可以在不同的数据中心同步进行。为了确保传输的高效性，PrfaaS引入了双时间尺度调度机制。该机制能根据实时流量波动灵活分配资源，配合精确的路由机制，确保长文本请求在传输过程中不会因资源不均而产生延迟。
研究数据显示，PrfaaS架构在实际应用中表现惊人:
服务吞吐量提升了54%，大幅增强了单位时间内处理请求的能力。
显著降低了响应延迟，用户端感受到的首字生成速度更快。
资源利用率最大化，通过分离计算、网络和存储子系统，规避了传统架构中的拥堵顽疾。
此次Moonshot AI与清华大学的合作，不仅为大规模AI推演提供了新的工程思路，也为未来跨地域算力网络的构建奠定了技术基础。这种“预填充即服务”的模式，或许将成为大模型迈向工业化应用的重要分水岭。
Moonshot AI与清华大学提出预填充即服务（PrfaaS）新架构，旨在解决大型语言模型推理中计算资源瓶颈。该架构将高计算密集的预填充阶段（生成键值缓存）与解码阶段分离，以优化资源利用，突破传统服务限制。
OpenAI推出生物学专用大模型GPT-Rosalind，旨在解决基因组数据过载和专业术语壁垒两大研究痛点，与通用科学模型形成差异化竞争。
苹果公司为Siri工程师团队启动“AI编程训练营”，通过系统性再培训提升其大语言模型工程能力，以支持新一代Siri和iOS系统AI功能开发。此举表明苹果已将AI重塑Siri提升至公司战略高度，旨在追赶谷歌和OpenAI在生成式AI领域的进展。培训内容涵盖模型原理到工程部署全链路，重点聚焦Prompt工程。
谷歌研究团队推出Vantage方法，利用大语言模型模拟真实团队互动，旨在测量传统测试难以评估的协作、创造力和批判性思维等“持久技能”，弥补教育领域长期缺乏有效评估工具的不足。
研究显示，当前主流AI模型在模拟临床诊疗推理时仍存在明显不足，尚不具备独立承担医疗任务的能力。该研究测试了21种大语言模型，结果发表于《JAMA Network Open》。
关注 “悠AI” 更多干货技巧行业动态
相关文章
