多agent进化搜索新突破：告别文本CoT，让450个agent在潜空间中高效协作
在数学与科学计算的程序搜索中，基于大语言模型的进化搜索通常依赖反复生成、评估和筛选候选程序。为了提高多样性，多个agent需要不断探索不同方案，但每次都要先生成冗长的文本推理，再输出程序，时间和成本随之上升。布朗大学团队提出的SwarmEvolve尝试绕开这一步：让agent在潜空间中推理和通信，直接把内部表示交给汇总agent生成新程序。
450个agent分群开工，每轮只交KV缓存
SwarmEvolve是一个利用多agent协作开展进化搜索的框架。每一轮搜索运行450个潜空间agent，这些agent组成不同群体，各自关注不同方向。例如，有的群体尝试“实现文献中的某种构造”，有的群体采用“教科书中的方法”。它们拥有不同的专长、父代程序和思考方式，各自执行40步潜空间推理。
与常见的文本CoT不同，潜空间agent不再逐步采样并输出文本token，而是使用连续向量进行推理。不同agent之间也不通过文本消息传递信息，而是交换内部表示。具体来说，潜空间agent从不同角度研究问题与父代程序，汇总agent读取它们的KV缓存，将不同思路组合成新程序。这样，搜索过程仍然保留多路探索和思路组合，但省去了大量文本生成环节。
这一设计建立在潜空间推理与潜空间通信研究的基础上。已有方法LatentMAS无需训练，就能将两者结合起来，使agent将推理形成的KV缓存交给汇总agent生成答案。SwarmEvolve把这一机制用于大规模进化搜索，并把agent数量扩展到每轮450个。
从“写推理”到“交缓存”，搜索循环被重新压缩
传统LLM进化搜索的循环大致是：agent阅读问题与父代程序，生成一段文本推理，再输出候选程序；系统评估候选程序，筛选出较优方案，进入下一轮修改与组合。问题在于，为维持搜索多样性，多个agent需要反复探索不同方案，文本推理越写越长，时间消耗也越来越大。
SwarmEvolve把推理转入潜空间后，agent的“思考”不再以可读文本形式展开，而是形成连续向量和KV缓存。潜空间agent各自完成40步推理后，汇总agent直接读取这些缓存，把不同思路组合成新程序。对于进化搜索而言，这意味着搜索循环中的“交流”和“组合”仍然存在，但不再依赖冗长的文本中转。
论文将SwarmEvolve描述为一种超快、低成本的“进化搜索加速”框架。它的目标不是取消多样性，而是让多个agent在保持不同方向探索的同时，减少每次探索的文本生成开销。每轮450个agent组成蜂群，分别关注不同方向，再由汇总agent完成组合，这一流程把大规模并行探索与潜空间通信结合起来。
3到8分钟追上1小时，Qwen3 8B还改进了3个构造
结果层面，SwarmEvolve在21个数学与科学计算问题上进行了测试。达到其他SOTA框架1小时成绩所需时间的中位数仅为3-8分钟。换句话说，原本需要一小时搜索才能达到的成绩，SwarmEvolve在中位情况下用几分钟就能逼近。
在使用Qwen3 8B时，SwarmEvolve还改进了AlphaEvolve在3个问题上找到的构造。这说明潜空间agent蜂群不仅是在速度上做减法，也可能在搜索结果质量上带来增量。对于程序搜索任务而言，更快的迭代意味着同样时间内可以尝试更多方案，而多agent分群探索则提供了不同思路并行的空间。
研究团队表示，在潜空间中进行通信的agent蜂群，为科学问题的程序搜索提供了一种快速、低成本的方法。其核心变化可以概括为：告别逐token生成的文本CoT，让agent把推理结果以KV缓存形式交给汇总agent，再由汇总agent组合出新程序。
潜空间协作把“群体搜索”推向更大规模
SwarmEvolve的出现，延续了潜空间推理与潜空间通信两条研究路线的合流。潜空间推理让LLM使用连续向量进行推理，不必逐步采样并输出文本token；潜空间通信则允许agent交换内部表示，而不是通过文本消息传递信息。LatentMAS已经展示了无需训练即可将两者结合、由汇总agent生成答案的可行性，SwarmEvolve则把这一机制放进进化搜索的大规模循环中。
从系统设计看，450个agent并不是简单地重复同一个问题，而是分成不同群体，带着不同专长、父代程序和思考方式执行40步潜空间推理。汇总agent读取KV缓存后组合新程序，使“多路探索”和“集中组合”在同一个框架内完成。相比让每个agent都输出长篇文本推理，这种做法的通信对象从自然语言变成了内部表示，搜索循环也因此变得更短。
论文结果显示，这种agent蜂群在21个数学与科学计算问题上显著压缩了达到SOTA成绩所需时间，并在Qwen3 8B设置下改进了AlphaEvolve在3个问题上的构造。对于进化搜索而言，SwarmEvolve提供的是一条不同于“继续加长文本CoT”的加速路径：让更多agent在潜空间中并行工作，用KV缓存交换思路，再把组合工作交给汇总agent完成。
