登录

有人每月烧掉1万美元，嫌Claude太贵，这家公司改用GLM：56张B200扛起2000名工程师，AI成本直降90%

2 小时前
AI资讯
4 阅读
GLMclaude自托管AI成本

据36氪报道，Revolut一度遭遇AI编程工具的成本反噬：有工程师每月在AI服务上花掉高达1万美元，但投资回报并不明显。公司随后设置严格Token预算，却又让工程师不敢用AI。最终，Revolut把默认AI编程模型转向自托管的智谱GLM，并用56张英伟达B200支撑约2000名工程师的日常使用，相关成本降至原来的约十分之一。

每月1万美元的AI账单先撞上预算墙

Revolut最初并没有打算自己训练或部署大模型。2025年初，公司开始用Gemini帮工程师查找资料、阅读技术文档；到2026年初，又引入Claude Code，希望进一步提高开发效率。

问题随着使用规模扩大迅速暴露。

  • Revolut运维与基础设施负责人David Abitbol透露，有些工程师每月在AI服务上的支出高达1万美元，但实际获得的投资回报并不明显。
  • 公司随后在推广AI编程工具时设置严格Token预算。报道提到，Revolut曾给Claude Code设置每人每月300美元额度，但对整体效率的帮助有限。
  • Token越贵，工程师越不敢用。有限的额度被留给复杂代码生成任务，调试Bug、处理Jira工单、整理Confluence文档等工作，即使AI能帮忙，工程师也要先考虑值不值得消耗Token。

这带来一个更隐蔽的问题：真正拖慢开发进度的，可能根本不是写代码，而是工程师在大量日常事务中对AI工具“用不起、不敢用”。

Revolut把默认模型换成自托管GLM

在成本压力下，Revolut开始寻找更便宜的替代方案，最终将目光投向智谱的GLM系列模型。公司最初采用GLM-5.1，随后升级到GLM-5.3，并将自托管模型设为主要AI编程服务。

有人每月烧掉1万美元，嫌Claude太贵，这家公司改用GLM：56张B200扛起2000名工程师，AI成本直降90%

目前，Revolut已经把GLM设为约2000名工程师的默认AI编程模型，Claude Code、Codex等工具退居备选，主要留给复杂任务。

成本变化十分直接：

  • Revolut使用约56张英伟达B200运行GLM-5.3，折算每百万Token的综合成本约0.30美元。
  • 相关账单仅为此前使用Anthropic、OpenAI的十分之一，相当于AI成本直降90%。
  • 今年4月，公司开始自行部署GLM，并向工程师开放不限量Token。

不过，自托管并不是“买来显卡就能跑”。据介绍，GLM-5.1总参数量约为7540亿，每生成一个Token，实际激活参数约为400亿。即使采用混合专家模型架构，模型权重和上下文缓存仍需要大量GPU显存。

按照Abitbol的估算，仅存储模型权重就需要约380GB显存；每位用户还需要额外占用约6GB至26GB显存来维护上下文，具体取决于精度设置。为了支撑GLM-5.3的规模化推理，Revolut最终部署了56张B200 GPU。

14.26秒到1.68秒，GPU没加请求量却涨了76%

Abitbol并不认为性能提升只能靠买更多显卡。在上个月纽约举行的AI Engineer大会上，他展示了一组数据：GPU数量保持不变，经过推理系统优化后，每秒处理的请求量提升了76%，首Token延迟从迁移期间的14.26秒降到稳定运行后的1.68秒，下降约88%。

Revolut主要做了几件事：

  1. 调整模型超参数：根据真实业务负载优化模型运行配置，而不是沿用默认参数。
  2. 重新审视上下文长度与KV Cache：上下文越长，模型需要维护的KV Cache就越大，占用的GPU显存也越多。KV Cache可以理解为模型的临时记忆区，用来存储注意力机制中的Key和Value张量，避免模型反复计算之前处理过的信息。如果工程师实际只需要几万Token上下文，企业却为每个请求预留百万Token所需资源，就会造成浪费。Revolut更关注实际任务需要多长上下文，以及缓存能否被有效复用。
  3. 优化张量并行配置：把模型权重分配到4张GPU上，虽然装得下模型，却未必能给KV Cache留出足够空间；改用8路张量并行，有时反而能获得更好的整体性能。

经过一系列优化后，Revolut已把首Token延迟控制在3秒以内，生成速度维持在每秒约200个Token。Abitbol甚至开玩笑说，如果首Token延迟超过5秒，他的Slack收件箱就会开始被抱怨消息刷屏。

不限量Token后，AI从写代码扩散到整条研发流程

成本下降和推理优化之外，更值得关注的是工程师使用AI的方式发生了变化。

过去Token额度有限，工程师倾向于把AI留给复杂任务。现在不用省着花，他们开始大量使用AI搜索内部文档、处理Jira工单、查找Slack中的需求说明。AI不再只是“代码生成器”，而开始进入需求理解、问题排查、文档检索和日常协作等环节。

根据公司内部统计：

  • 工程师的编码用时指标改善约60%。
  • 从接手任务到交付的周期指标改善约70%。

这组数据说明，Revolut的降本并不是简单换一个更便宜的模型，而是把模型成本、推理系统优化和工程师使用行为放在一起调整。只有Token便宜到不用精打细算，AI才有机会从少数复杂任务走向整个研发流程。对拥有约2000名工程师的Revolut来说，56张B200撑起的自托管GLM，正在把AI编程从“按额度分配的稀缺资源”变成默认基础设施。