在人工智能参数规模不断膨胀的今天，动辄数万亿参数的巨型大模型往往需要依靠昂贵的高端显卡集群才能驱动。然而，近日有玩家在社区分享了一次极具极客精神的极限测试:他仅凭一台没有插显卡、搭载40核处理器的老旧服务器，竟然成功让月之暗面的2.8万亿参数大模型 Kimi K3运行了起来。
作为一款体量庞大的混合专家模型，Kimi K3的总参数量达到了2.8万亿，每个 token 仅激活约1040亿参数，官方标称的上下文更是高达104万 token。
面对如此巨大的数据体量，哪怕将其压缩至极限的1bit 量化，也需要数百 GB 的内存才能装得下，这显然超出了普通家用主板的承载极限。为了突破这一硬件瓶颈，该玩家剑走偏锋，使用了一颗40核的第三代至强可扩展处理器，并搭配了英伟达已经停产的傲腾持久内存200系列，实现了单条最高512GB 的超大容量支持。
在具体的软硬件协同方案上，该玩家借助 llama.cpp 软件，将傲腾持久内存设置为 App Direct 模式，让其直接作为内存供程序读写，而不是将其作为硬盘缓存由系统自行调度。
不过，这种非主流的平民化方案也必须付出运行速度上的代价:
生成效率: 在1bit 量化下，实测生成速度仅为每秒0.85个 token;若关掉直接访问（DAX）模式，速度最高也仅能达到每秒1.5个 token。
实际耗时: 当切换至3bit 量化时，速度约为每秒0.75个 token。这意味着让它写几百字需要等待好几分钟，而如果要输出5万个 token 则长达18.5小时。
温控挑战: 傲腾硬件本身的功耗和发热也不容忽视。根据英伟达的数据表，该代产品单条功耗上限为18瓦，当介质温度达到83摄氏度时便会开始降频，一旦飙升至85摄氏度则会触发保护性关机。
值得一提的是，英伟达早在2022年第二季度便启动了傲腾内存业务的收缩，当季度计入了5.59亿美元的库存减值，这也意味着该产品线已经没有后续的下一代产品，这次硬核运行更像是一次面向极限边缘的极客致敬与可行性验证。
11月12日，第十七届财新峰会上，月之暗面金融行业与生态负责人徐天天表示，当前AI能力边界与智能上限远未达到极限，行业仍处加速进化快车道。他提出三条叠加增长曲线是驱动大模型持续进化的底层逻辑，并深入分析人工智能进化动力，引发对大模型能力边界的关注。
11月5日，月之暗面（Moonshot AI）正式推出Kimi Hosted Agents托管智能体服务，将支撑智能体高效运行的底层Harness运行框架作为云端服务开放给企业和开发者，省去团队自行搭建与维护复杂运行框架的流程。其核心亮点是告别繁琐运维，无缝支撑长任务与多智能体协作，降低AI应用开发门槛。
11月5日，月之暗面兑现10月24日承诺，在Hugging Face全面开放Kimi K3.1Pro模型权重。该模型在Arena运营的Agent Arena中夺得开放权重模型第一，全部参评模型第13，并在工作、编程、聊天三大核心类别稳居开放模型首位。评测基于真实长周期会话，标准严苛。
英伟达正式开源全新语音转录大模型Nemotron3.5Transcribe。该模型面向专业语音处理，在多语言转录准确率、长音频处理和多说话人分离等核心指标上行业领先。其采用混合专家（MoE）架构，总参数量约340亿，每次前向传播激活部分参数，以提升效率。整体看，它为专业语音转录提供了新的开源选择。
10月29日，月之暗面在海外宣布，AI助手Kimi全面接入谷歌Gmail、Google Drive和Google Calendar三大办公服务。用户只需在Plugins页面简单设置即可启用。官方称，此次集成延伸了Kimi应用场景，可快速总结Gmail邮件对话、精准查找所需信息，并提升邮件、云盘与日历相关任务处理效率。
关注 “悠AI” 更多干货技巧行业动态
相关文章
