全球开源大模型生态迎来架构层面的颠覆性突破。谷歌于6月3日正式发布了全新统一多模态模型Gemma412B。该模型最大的创新在于彻底取消了传统多模态模型必不可少的“编码器”组件，在消费级硬件的本地部署与推理效率上实现了质的飞跃。
在传统的多模态架构中，模型通常需要依赖独立的视觉和音频编码器，将图像和声音信号转换为与文本Token相匹配的维度，这在无形中增加了模型的体积与计算复杂度。而Gemma412B另辟蹊径，采用轻量级的嵌入层来直接处理视觉输入，仅需通过单次矩阵乘法、位置嵌入和归一化操作即可完成转换;同时，音频信号也被直接投影到文本Token的维度空间中。这种精简的“无编码器”设计，不仅大幅降低了计算步骤，更让整个模型变得极其轻量。
得益于底层架构的瘦身，这款拥有120亿参数的高性能模型被完美压缩在消费级硬件的运行门槛之内。开发者或普通用户仅需16GB的显存或统一内存，就能在高端笔记本电脑上直接本地部署并流畅运行。这意味着用户无需依赖昂贵的云端算力，便能离线处理复杂的视觉和音频任务。
在实际性能表现上，Gemma412B的多步推理与代理工作流（Agent）能力已经逼近谷歌更大规模的26B MoE模型。为了进一步榨干性能，该模型还配备了多Token预测(MTP)技术，能够同时预测多个Token，从而显著加快了端侧的推理响应速度。
目前，Gemma412B已采用友好的 Apache2.0许可证正式开源，模型权重也已同步在上架。新模型获得了主流开发生态的全面力挺，不仅无缝支持 Ollama、LM Studio、MLX、SGLang 和 vLLM 等多种推理框架，谷歌自家的 AI Edge Gallery 也第一时间提供了端侧部署包。对于企业级生产环境，开发者还可以通过谷歌云的相关工具进行大规模集群部署。随着 Gemma4系列模型累计下载量突破1.5亿次，这一全新的架构无疑将引发开源开发者社区的新一轮技术狂欢。
瑞典初创公司Lovable与谷歌云达成长期深度合作，虽未公开金额，但知情人士称其云资源和AI使用量将增至5倍。作为欧洲增长最快的初创公司之一，Lovable在“全自动AI编码”赛道表现抢眼，此次合作标志着全球云算力与AI生态的强强联合。
谷歌宣布“Ask Gemini in Drive”功能扩展至Gmail，帮助用户在海量邮件中快速查找特定信息。该功能于三月推出，现向符合条件的Google Workspace、AI Pro和Ultra用户开放。用户需在左侧选择Gmail为查询来源，点击“Ask Gemini”按钮即可使用。
安全研究员Kasra Rahjerdi通过构建含漏洞的图书评论应用，测试主流大语言模型的安全推理能力。他故意暴露谷歌移动端后端服务凭据，要求模型解包并识别以访问数据库。在每场2小时、预算10美元的严格条件下，评估了顶尖模型的表现。
英国工党议员杰丝·阿萨托起诉马斯克旗下xAI公司，指控其Grok AI平台被用于制作并传播针对她的色情深度伪造图像。她认为这是产品设计中的故意选择，而非偶然失误，并强调此类内容侵害了数千名女性和未成年人权益，决定通过法律途径追究责任。
谷歌AI Edge Gallery应用正式登陆macOS，支持Mac用户离线运行Gemma系列AI模型。该应用无需网络连接，可提升响应速度并保障数据隐私，用户能离线进行智能对话、图像处理和语义理解。
关注 “悠AI” 更多干货技巧行业动态
相关文章
