马斯克也拥抱C语言了，大模型训练堆栈抛弃JAX，提速一个数量级

从JAX到C：一次彻底的底层重构

xAI团队在训练其旗舰大模型时，发现JAX尽管提供了出色的自动微分和编译能力，但其Python层面的运行时开销和高层抽象在高性能计算场景中成为瓶颈。为追求极致性能，团队决定彻底抛弃JAX，直接使用C语言重写核心训练逻辑。这一决策意味着放弃了JAX原有的自动并行、XLA编译等便利特性，转而依靠手写优化的C代码来精确控制内存布局、计算流水线和硬件指令调用。C语言更贴近硬件，能消除Python与native code之间的桥接损耗，并允许开发者直接利用特定CPU/GPU的底层指令集。

一个数量级的提速：将算子效率压榨到极限

重构后的训练堆栈在多个标准基准测试中实现了约10倍的端到端速度提升。这一飞跃主要来自三个方面：首先，C语言编写的自定义算子实现了零额外开销的内存管理，使得数据传输和计算重叠更高效；其次，团队针对Transformer中的关键操作（如注意力机制、矩阵乘法）手工编写了高度优化的内核，避免了JAX自动生成的代码中可能存在的冗余循环和中间张量；最后，通过细粒度的线程调度和缓存友好型数据布局，将GPU利用率从JAX下的约65%提升至95%以上。这一成果表明，在特定场景下，放弃高层框架的便利性换取对硬件的完全控制，可以换来巨大的性能回报。

开源社区的镜像：FlagGems与Triton正在填平鸿沟

马斯克团队的做法并非孤例。在开源社区，智源研究院推出的FlagGems通用Triton算子库正是为了解决类似问题而诞生。FlagGems采用OpenAI的Triton语言而非CUDA，提供了一套跨平台的底层算子集合，使开发者能以接近C语言的性能编写自定义操作，同时保持对多厂商硬件的兼容性。Triton本身就是一种类Python但可编译为高效GPU代码的领域特定语言，它允许开发者像写C一样精细控制计算，却无需直接面对底层汇编。FlagGems的出现，正在让“抛弃JAX，拥抱底层”的路径变得更加普惠，为更多团队提供了一条从JAX到C语言/类C语言的平滑过渡方案。

基础设施层的协同：HPN7.0网络与自动并行策略的再平衡

性能的大幅提升不仅仅是语言层面的功劳。在xAI的堆栈中，网络通信与并行策略同样经过重构。阿里云HPN7.0架构所展示的“千卡无阻塞段”和“低跳数万卡互联”理念，确保了大规模集群下通信延迟不成为瓶颈。同时，放弃JAX后，团队失去了其内置的自动并行搜索能力，转而手写基于C的分布式通信和流水线并行代码。这看似倒退，但实际上，在模型结构明确（如decoder-only Transformer）且并行模式成熟（如张量并行、数据并行、流水线并行）的今天，手工优化的并行方案（类似Megatron）往往能避免自动搜索带来的额外通信开销。xAI的实践验证了：当模型结构趋于稳定，固定且手工调优的并行策略反而比自适应策略更高效，而C语言能更好地实现这些精细控制。

性能至上的回归：AI训练堆栈的未来之路

xAI的这一举动标志着AI基础设施领域正在从“框架便利优先”向“极致性能优先”转变。JAX、PyTorch等高层框架依然适合快速迭代和模型探索，但在大模型大规模生产训练中，C语言及其衍生产品（如Triton、CUDA）正在夺回主导权。未来，AI训练堆栈很可能呈现分层架构：上层仍使用Python进行数据预处理和验证，但核心训练循环和关键算子则完全由C语言或可编译到C语言的门控语言实现。这种“底层性能引擎+高层胶水代码”的模式，将帮助更多团队在争夺算力效率的竞赛中获得一个数量级的领先。然而，这同时也对工程团队提出了更高的要求——懂C、懂硬件、懂并行算法的人才将变得愈发稀缺。