人工智能端侧部署领域迎来重磅进展。淘宝旗下 MNN 团队正式宣布开源面向手机应用的轻量化大语言模型 —— MNN-Pocket-0.3B。该模型拥有约3亿参数，专为手机等移动设备的资源预算与任务需求量身打造，在极低的内存占用和能耗下，实现了媲美云端的高速响应与出色的综合任务能力。
极致轻量化设计:体积缩减近半，峰值内存稳控在300MB 以内
为了让大模型在移动设备上真正做到“无感运行”，淘宝 MNN 团队将“手机应用原生大模型”细化为四大核心设计指标:解码吞吐超200token/s、峰值内存低于300MB、单次推理能耗极低以及具备强悍的指令遵循与多任务扩展能力。
在实际性能表现上，该模型交出了亮眼的成绩单:
惊人的离线速度: 在苹果 iPhone18Pro 真机测试中，通过 MNN 推理引擎完全离线运行，平均解码速度达到了约350token/s。而在 iPad Pro M5的 Metal 后端测试中，Prefill 吞吐更是高达8，721token/s，Decode 吞吐达到466token/s，约为同条件下 Qwen3-0.6B 的1.63倍。
极小的体积与内存占用: 模型的 INT4MNN 部署文件体积仅为173MB。在 iPad Pro M5测试配置下，其峰值内存增量仅为228MB。相比之下，同测试中的 Qwen3-0.6B 部署体积达340MB、峰值内存增量427MB，MNN-Pocket-0.3B 的部署体积缩减了约49%，内存增量减少约47%，为手机系统的图片、视频及其他业务模块保留了充足空间。
超低功耗表现: 团队在一加13（骁龙8至尊版）上对4-bit 模型进行了功耗测试。在基准负载下，执行100次同等负载任务累计增量能耗仅占手机电池总电量的0.3% 左右，彻底打消了用户对端侧 AI 耗电发热的顾虑。
精简高效的词表架构: 为了更好适配中文互联网环境，团队将词表从约151K 精简至64K，缩减幅度达57%，有效降低了词嵌入与输出层的参数开销。
综合能力越级挑战:多项评测登顶同规模模型之首
在实际任务表现与学术基准评测中，MNN-Pocket-0.3B 展现出了远超其参数体量的爆发力。
评测数据显示，该模型的英文 IFEval 得分达到73.20，自建的中文指令遵循 IFEval-zh 得分高达74.59，在同类对比模型中均名列前茅。在涵盖中英文知识、推理、数学、代码及指令遵循的11项综合评测中，其平均得分达到50.00，全面超越了 MiniCPM4-0.5B、Qwen3-0.6B 等更大规模的同类模型。其中，中文数学 MGSM-zh 得分51.20，代码生成 HumanEval 得分达到53.66。
为了让技术成果能够快速转化为真实的业务生产力，MNN 团队从预训练、后训练到端侧部署全流程开源了多个版本，满足不同场景的深度适配需求:
MNN-Pocket-0.3B-Base: 专为继续预训练、领域适配与基础能力研究打造。
MNN-Pocket-0.3B-SFT: 面向后训练研究、强化学习、蒸馏与消融实验。
MNN-Pocket-0.3B: 适用于通用指令调用与各类业务任务的深度适配。
MNN-Pocket-0.3B-MNN: 采用 W4A16QAT 的端侧专属部署版本，配合 MNN 推理引擎的低比特算子与硬件后端优化，在特定设备上解码吞吐可拉满至466token/s。
MNN-Pocket-0.3B-DFlash2: 针对 DFlash2投机解码草稿模型设计，配合块级生成与验证实现，特定任务下的解码吞吐可达常规自回归解码的2.06倍。
MNN-Pocket-0.3B-Dec: 通过决策头精准完成候选选择类任务。
北京朝阳法院近日审结一起劳动争议，聚焦“用AI办公”边界。2024年7月，保险公司员工吴女士将自行整理的公司稽核问题数据表上传第三方AI平台，辅助制作PPT。此前其部门及直属领导多次推荐此类工具，称能提升效率。一个月后，公司以“严重违反信息安全规定”将其解雇，吴女士起诉。
11月4日，Perplexity推出“队友”功能，将个人AI代理从单次任务推进至复杂持续的工作管理。该功能基于Perplexity Computer的多模型与精准度，继Comet浏览器助理后，可在营销、销售、客服与运营中主动监控项目、跨工具和团队协调、处理后续跟进，并在多次执行间记住项目目标与上下文。
在2026世界互联网大会乌镇峰会上，张朝阳罕见坦诚，承认搜狐当年错过移动互联网。面对全行业狂热追逐AI大模型，他解释搜狐保持冷静：错失移动互联网导致资源受限，大模型赛道拼资源，搜狐“做不起”，因此AI投资不激进。文章聚焦其反思及搜狐在AI浪潮中的现实考量。
Google DeepMind发布多模态视频生成模型Gemini Omni1.2Flash，在生成时长、画面一致性、多轮对话修改及API价格上全面升级。核心突破包括：原生视频生成与编辑片段时长翻倍，上限较上代提升；画面一致性优化；支持多轮对话式编辑修改。该更新将推动AI视频生成与编辑能力进一步升级。
网信部门通报AI假冒公众人物集中整治结果：清理违法违规信息4.7万余条，处置账号3961个。点名四类典型，均指向变现：未经授权仿冒名人肖像声音或盗用家属照片带货引流；盗肖像配AI特效编造患病等谣言误导公众；以第一人称冒充名人发表观点、情感话术诱关注；生成名人跳低俗舞蹈、亲密互动画面吸粉。
关注 “悠AI” 更多干货技巧行业动态
相关文章
