Harness大战

同一款模型、同样三十道题，只把外围的Agent运行系统换一换，冠军就换了人——这是Composio最新一轮Harness横评给出的结果。Harness可以理解为围绕大模型搭建的一套Agent运行系统：它让模型能够调用外部工具、连续执行多步骤任务，并根据执行结果调整后续动作；对长时间运行的任务，它还负责保存状态，使工作中断后可以继续。过去聚光灯几乎全打在模型身上，如今这套“看不见的运行系统”正被推到台前。

五个Agent同跑三十道真题，三项冠军分属三家

Composio（一个做智能体工具集成的平台）最近做了一组对比测试。模型统一选用DeepSeek-V4-Pro正式版，分别用Claude Code、Pi、OpenCode、Hermes、DeepSeek Harness这五个编程Agent各自执行30个任务，全部开启最大推理强度。这30道题都是真实的多应用集成任务，横跨Gmail、Google Sheets、GitHub、Slack等平台，每题限时900秒，只有“通过”与“没通过”两个评判结果。

测试结果颇具戏剧性：

• 通过率冠军：Pi成功通过21题，DeepSeek Harness通过20题排第二，Claude Code和OpenCode各通过19题并列第三，Hermes以18题垫底。
• 成本冠军：DeepSeek Harness每成功解决一个问题平均花费0.028美元，Pi为0.031美元，OpenCode为0.032美元，Hermes为0.037美元；Claude Code则高达0.074美元，是DeepSeek Harness的2.6倍。
• 速度冠军：成本最高的Claude Code反而完成得最快，解决一道题平均只需181.8秒；通过率最高的Pi倒数第一，耗时362.9秒，几乎是Claude Code的两倍。

更值得玩味的是题目层面的分布：30道题中，有15题不管用哪个Agent都能通过，7题不管用哪个都挂，剩下8题的结果由你选的Agent决定。换句话说，接近三成的任务能不能完成，由Harness说了算。网友对此评论：“Pi又赢了，不过DeepSeek也不错。”也有开发者感慨：“在五个Agent上跑同样30道题，这才是真正有价值的评测，说明工具框架对结果的影响和模型本身一样大。”

DeepSe