面试官：第三方 LLM 接口不稳定，如何保障 Agent 高可用？

随着企业级AI Agent应用规模持续扩大，第三方大模型接口的稳定性不足已成为制约Agent落地的核心瓶颈之一，接口超时、限流、突发故障等问题不仅会导致用户体验断崖式下降，还可能引发Token成本飙升、业务逻辑中断等连锁风险，如何在控制成本的前提下构建高可用的Agent体系成为行业共同关注的命题。

智能模型路由降本又提效

当前多数企业的LLM调用成本居高不下，核心原因在于未针对查询类型做模型分流：简单事实类查询调用大模型属于资源浪费，复杂推理类查询用小模型又难以满足准确率要求。通过构建智能模型路由机制，可依据查询类型自动匹配对应模型，模型路由按场景匹配规则如下：

• 事实性回答、报价、合同条款类查询：调用轻量小模型，temperature参数设为0保障输出确定性
• 创意生成、复杂推理类查询：调用大模型保障生成质量
  落地数据显示，该机制可将系统幻觉率从无防控时的18%降至3%，关键业务场景的幻觉率甚至低于0.5%，用户对回答准确性的信任度提升35%，同时大幅降低大模型的调用压力，从根源上缓解LLM