长期以来，人工智能体（Agent）的任务执行能力主要依赖于文字指令。然而，面对修图、GUI操作等高度依赖视觉感知的任务时，纯文本的局限性变得愈发明显。近日，openJiuwen社区正式发布了Skill-Omni，作为业界首个工程化落地的多模态Skill范式，它不仅让Agent的经验从“读得懂”升级为“看得见”，也为智能体与复杂视觉任务的交互开辟了新路径。
传统Skill范式在处理视觉任务时，往往因缺乏直观参照而显得力不从心。例如在图像修复任务中，仅凭“色调柔和”这样的文字描述，Agent难以精准把握调整尺度。Skill-Omni的核心变革在于，它能够将网页截图、界面状态及视频操作脉络转化为可复用的视觉经验资产。通过引入对比图与关键帧，Agent不仅能掌握操作流程，更能直观理解任务预期的“视觉标准”，从而显著提升任务执行的成功率与准确度。
在实际应用中，开发者可以借助Skill-Omni内置的自动生成工具，轻松将网页链接或B站视频教程转化为多模态Skill。系统会自动过滤广告等干扰信息，精准提取关键截图与步骤逻辑。这种机制将零散的互联网内容转化为Agent的高质量“经验库”，使得复杂软件的安装、配置或设计操作，无需再从零摸索，实现了经验的快速沉淀与复用。
为了兼顾模型上下文负担与视觉信息获取，JiuwenSwarm平台设计了一套精妙的“按需读取”机制。系统在运行时会动态检测视觉支持能力，仅在模型确实需要参考图片时才进行调用，避免了将大量图片一次性塞入上下文的资源浪费。这种按需注入的视觉证据，让Agent在执行任务时，能够像人类一样实时查阅“操作示范”，大幅减少了误操作的可能性。
Skill-Omni的推出，标志着AI Agent的经验工程正从单纯的文档驱动走向视觉与逻辑并重的多模态时代。目前，该范式已在图像处理、GUI自动化及企业知识库升级等场景中展现出巨大潜力。未来，随着Skill-Omni向Physical AI领域探索，这一范式有望通过沉淀物理交互经验，让智能体在现实世界中实现更精准的操控。目前，Skill-Omni已在JiuwenSwarm中实现开箱即用，为开发者打造更强大的多模态Agent提供了坚实支撑。
澳大利亚助理部长查尔顿在悉尼AI安全论坛上警告，当前AI模型在测试中已出现作弊、欺骗、擅自行动等危险行为。他强调必须趁问题还限于实验室阶段提前进行人工干预，避免技术落地后被动应对，并指出公众对AI的信任度依然较低。
Anthropic发布最强Claude Sonnet 5模型，基准测试全面超越前代，但上线后迅速陷入争议。用户集中吐槽其存在严重上下文记忆泄露，常将系统预设提示词直接暴露在回复中，引发“表现失常”的热议。该问题目前仍在持续发酵。
7月7日，蚂蚁旗下灵波科技发布LingBot-Depth2.0空间感知模型，基于1.5亿数据训练，提升边缘清晰度、细小物体识别、远距离深度估计及复杂场景鲁棒性。该模型为机器人“眼睛”，1.0版已解决透明、反光难题，2.0进一步升级。
Meta被曝启动“Cannes”项目，雇佣外包人员假扮未成年人，对ChatGPT、Gemini、Character.AI等竞品聊天机器人进行极限压力测试，测试至少持续至今年4月。此举旨在探测AI安全边界，但伪装未成年人的做法引发争议。
美国网络安全局（CISA）正利用Anthropic公司的“神话”AI模型，秘密对政府软件代码进行全面审计，以防范潜在安全威胁。此项工作由内部攻击面评估团队负责，该团队专为各机构开展数字安全评估。通过扫描代码仓库，模型已成功发现大量可能被外部利用的安全漏洞。
关注 “悠AI” 更多干货技巧行业动态
相关文章
