创意任务解决率95%,让视觉AI自己练习,还能把经验带到视频

OmniHarness是视觉AI领域首个实现“自主练习-经验沉淀-跨场景复用”全流程的智能体框架,在近日公开的测试数据中展现出远超现有方案的性能表现。

OmniHarness刷新视觉AI创意任务解决率纪录

在业内公认的创意AI压力测试平台ComfyBench中,OmniHarness在高阶创作类任务(需理解意图、协调多步操作、兼顾风格与结构)上交出95%的合格答卷,较此前最优方案SymbOmni高出27.5个百分点。当前所有主流方案的工作流执行通过率(Pass)均已达到100%,OmniHarness的差异化优势体现在“流程跑通后能交付合格结果”(Resolve):其输出结果已能满足专业创作者的使用要求,达到编辑认可、设计师可用的合格标准。

  • 采用Codex GPT-4o配置时,OmniHarness总体解决率为92.5%
  • 同配置下对比ComfyMind,OmniHarness总体解决率达89.5%,领先6.5个百分点,创意任务解决率领先37.5个百分点

一次任务沉淀的经验可跨架构赋能多套视觉AI系统

研究团队开展了大胆的迁移实验:将仅通过图像任务训练得到的OmniHarness策略库“冻结打包”,在不修改一行代码、不调整一个参数的条件下,直接接入ComfyAgent、ComfyMind、SymbOmni三套完全不同的视觉AI智能体架构,最终三家方案解决率全线上涨:

  • ComfyAgent解决率从32.5%升至57.0%,创意任务增幅达27.5个百分点
  • ComfyMind解决率从83.0%提升至88.0%,创意任务增幅17.5个百分点
  • SymbOmni解决率从86.0%提升至89.0%,创意任务增幅10.5个百分点
    更进一步的跨模态迁移测试中,这套纯图像训练出的经验被成功适配至视频工作流:图像策略负责画面内容构建、参考一致性保持、主体稳定性保障等操作,时序处理仍由视频专用组件承担,二者通过轻量适配器完成协作。最终视频总体解决率达85.9%,高于最佳对照5.1个百分点,其中视频到视频任务解决率达80.0%,高出最强对照13.3个百分点。

视觉AI获得“工作复盘大脑”实现自主进化

传统AI完成任务后通常会清空上下文,无法沉淀可复用的工作经验,而OmniHarness的核心创新正是给视觉AI装上了“工作复盘能力”:每次任务完成后,系统会自动抽离可泛化的“策略包”,包含工作流骨架(如“先草图重绘→再风格迁移→最后上下文保边”)、适用条件(如“输入为手绘稿且目标需写实化时触发”)、资源依赖(如“需调用ControlNet+IP-Adapter双模块”),同时将花朵种类、文字内容、人物发型等具体实例变量干净剥离,避免经验过度拟合单次任务。
不同于需要重新训练模型的迭代方式,OmniHarness采用“模型参数不变,可调用方法随实践更新”的积累模式,无需调整底层模型即可通过多次实践积累更多有效经验,形成“越用越强”的进化飞轮。

经验复用仍存成本优化空间但打开长期进化路径

当前的实现路径需要付出额外的计算成本:AI自主练习、多轮验证结果、抽象策略都会增加推理开销,检索效率与推理预算仍有进一步优化的空间。但研究团队明确表示,这不是“速度与准确率”的权衡,而是对“可持续进化”的投资:当前多花的计算成本,换来的将是AI面对全新需求时不用从零开始试错的底气,今天沉淀的经过验证的经验,有机会成为明天处理新需求的起点。