中国大模型训练如何突破算力瓶颈

规模定律下，一个千亿参数模型到底吃掉多少算力

大模型训练算力的需求不是凭空产生的，它由规模定律直接决定。模型参数量越大、训练数据越多，所需的总计算量就呈指数级上升。一个千亿甚至万亿参数级别的模型，在四个月内完成预训练，不是几十张卡能扛下来的任务，而是需要数万张高性能GPU持续满负荷运转。英伟达B200单卡算力是当前国产昇腾950级芯片的五倍左右，因而同样训一个10^27量级的模型，如果采用昇腾950，所需卡数就要达到英伟达方案的四到五倍，也就是四五十万张。卡数越多，利用率越难维持，对HBM高带宽内存和互联器件的需求也成倍增加。这才是中国训练算力瓶颈的真正含义——不是没有算力，而是单卡太弱，导致整个集群的规模、功耗和工程复杂度被急剧放大。

训练算力有五个要素，中国目前只占一个“供”

把数万张卡变成“一台机器”，训练算力供给包含五个核心要素：算、存、连、管、供。“算”指GPU芯片的峰值算力；“存”指HBM容量与带宽；“连”指卡间互联和跨节点通信；“管”指集群调度、故障恢复和软件栈；“供”指电力供给。英伟达之所以能掌握定价权，是因为它在芯片、网络、软件上形成了完整闭环，并借助CUDA生态形成网络效应。中国的情况是，高端GPU受出口管制限制，自研芯片单卡算力不到英伟达最新产品的一半；HBM采购渠道被切断，国产良率仍在爬坡；互联与软件生态尚不成熟，无法支撑超大规模集群长时间稳定训练。唯一有明显优势的是“供”——2025年中国新增发电装机5.4亿千瓦，是美国的十倍。电力是中国最充裕的资源，这也是华为超节点敢用更高耗电换取集群性能的底气所在。

昇腾950要四五十万张卡，智算中心却拼不成一台机器

按前文公式倒推，同样一个千亿参数级别模型，在四个月内训练完成，如果换成昇腾950，需要四五十万张卡。卡数增加带来的不只是采购成本，还有更棘手的工程问题：集群越大，单卡故障率对整体训练的影响越难以接受，利用率u会持续下降；互联器件和HBM的配套需求也成倍上涨。更尴尬的是，近年各地兴建的大量智算中心规模有限、芯片型号各异，即便存在闲置算力，也无法把这些分散的卡拼成一台高效协作的“机器”。因此，中国训练算力目前主要用于推理，尚无国际前沿水平的模型在国产体系上完成预训练。也就是说，短期内国产算力无法承担前沿模型的从头训练，只能先在中低难度任务上验证和跑量。

短期突围：以电换算、以算法换卡、在许可内用好H200

既然单卡差距短期追不平，那就从卡数G和利用率u上做文章。华为超节点给出的路径是：把紧密互联范围扩展到跨机柜的4096张卡，用灵衢总线让数千张卡在软件层面更像一台机器，再用近封装光学降低互联功耗和故障率。SemiAnalysis测算，华为CloudMatrix 384超节点单位算力耗电是英伟达GB200 NVL72的两倍多，但电费仅占吉瓦级数据中心年化总成本的7%左右，耗电翻倍推高总成本仅一成上下。以更多卡、更多电和更强的工程组织能力弥补单卡不足，是短期内最现实的打法。

另一条路径是模型层提效。DeepSeek-V3仅用2048张H800完成预训练，靠混合专家架构和8位低精度训练，把正式训练算力成本压到约560万美元，而Meta训练Llama 3.1 405B动用了约1.6万张H100。混合专家架构只激活部分参数，8位低精度让芯片峰值算力翻倍、通信量减半，等效于把单卡性能往上抬了一大截。但效率创新存在天花板——美国实验室很快就会吸收同样的方法，再叠加十倍算力，差距会重新拉开。而且按照“杰文斯悖论”，效率越高，各方追加算力的意愿反而越强。因此，提效只能让中国追得更近，真正走到前面还得靠算力规模的持续扩大。

还有一条常被忽视的路径：用好进口芯片。今年中国对英伟达H200的进口持审慎态度，据报道获批数量可能不到企业申请量的一半。限制进口的顾虑是，国产芯片会失去验证机会。但前沿竞争有时间窗口，错过一代，追赶成本会成倍上升。更稳妥的做法是以安全可靠为标准两条腿走路：前沿训练在许可范围内用好进口芯片抢占时间，国产芯片先在推理和中等规模训练中放量，逐步向前沿推进。资源同时应集中于少数大型训练集群，避免散落在各地智算中心。

中期与长期：把几万张卡变成一台机器的三阶段赛跑

突破训练算力瓶颈不能只靠短期对策，需要分三个阶段接力。短期靠系统工程和模型提效，中期推动国产GPU与HBM产能爬坡、软件生态开源，并靠政府奖励机制促成国产体系完成首次前沿规模训练验证，同时培育第二套技术体系，防止风险过度集中。长期则要攻克以光刻机为首的核心设备瓶颈，并储备足够多的AI工程人才。三个阶段争夺的是同一件事：能否依靠自身力量，把几万张卡变成一台机器。规模定律仍在生效，前沿训练的门槛每年成倍抬高。这是一场长跑，比拼的不是单点爆发，而是持续投入的耐力与方向。