LeCun证明了：规模从未起作用，下一token路线效率低

10月29日，Yann LeCun与布朗大学计算机科学助理教授Randall Balestriero共同发布37页论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》。论文没有停留在“世界模型比LLM更好”的口号上，而是把两年前ICML 2024提出的柏拉图表征假说（PRH）推进为定理，并给出可操作的充分条件。

严格说，这篇论文并不是简单宣布“参数规模从不起作用”。它把争论拉回训练目标：如果目标是学习可跨模态对齐的世界表征，next-token预测并不是高效路径；训练时让模型学习什么样的信息关系，可能比单纯让它处理更多文本更重要。

37页论文把柏拉图洞穴写成数学定理

柏拉图表征假说由Huh等人在ICML 2024论文中提出：在不同模态（视觉、语言）上分别训练的模型，随着规模增大，内部表征会越来越相似，最终收敛到同一个对现实的共享统计模型。这就像柏拉图洞穴里不同的人看到了同一个“理念世界”。

但此前PRH只有经验曲线和一个理想化对比学习器的直觉论证，既没有证明，也没有配方。行业能做的只有继续堆规模。

LeCun与Balestriero的论文做了两件事：

• 把PRH从经验假说变成定理，论证在特定条件下，不同模态的AI模型即便独立训练，也能学到可相互对齐的世界表征；
• 给出可操作的充分条件，并用基于JEPA的“好视图”训练方式，让模型学习同一场景不同描述背后的共同场景内容，同时加入约束避免表征坍塌。

这为世界模型路线的表征学习环节补上了一块数学基础，也让“下一token预测路线效率低”从观点变成了可检验的实验结论。

1.09亿参数在0.184分上压过720亿参数

论文最抓眼球的数字，是一组跨模态表征对齐测试：一个仅有1.09亿参数的文本JEPA得分达到0.184，高于Qwen2.5-72B的0.154，也超过了包括Llama-3-70B在内的大型语言模型。参数规模相差约660倍。

这里的“超过”有严格边界。论文比较的是特定跨模态表征对齐指标，分数越高表示模型表征结构越接近视觉模型，并不是语言模型综合能力分数。它不意味着JEPA的数学推理、代码生成或知识问答能力超过了Qwen2.5-72B。

换句话说，小模型学到的是与独立训练视觉模型更一致的文本邻域结构；大语言模型参数量更大，但在这一表征对齐测试中并没有占到便宜。论文用这个结果挑战“唯规模论”：当目标是形成可对齐的世界表征时，参数规模不是唯一变量，训练目标同样关键。

好视图与坏视图只差一次改写，得分从0.088跳到0.184

论文设计了一组对照实验：假设一张照片里，一只狗正在草地上追球，两个人分别写下描述——“一只狗在草地上追逐皮球”和“草坪上的小狗正在追赶玩具”。

第一组叫“好视图”：从两份不同描述中分别截取片段、遮盖部分词语。模型看到的可能是“狗在草地上追逐［遮盖］”和“草坪上的小狗正在追赶［遮盖］”。两句话表达不同，要让它们的向量接近，模型就必须更多利用“草地”与“草坪”、“追逐”与“追赶”背后相通的场景内容。

第二组叫“坏视图”：只取第一句话，将它加工成两个版本，例如“一只狗在［遮盖］追逐皮球”和“一只狗在草地上追逐［遮盖］”。两份输入保留“一只狗在”“追逐”等相同措辞，模型可以借助文字表面的相似让向量接近。

同规模对照再次体现训练方式的作用。使用相同编码器、相同文本和相同训练样本数：

• 下一token预测得到0.111；
• 坏视图JEPA为0.088；
• 好视图JEPA达到0.184。

将视觉参照换成CLIP，或改用COCO测试集，好视图JEPA仍保持领先。实验从三个层次支持论文解释：改变训练方式可以提高对齐水平，可以减少达到相近水平所需样本，也可以让较小模型获得比大语言模型更接近视觉模型的表征结构。

2160万样本追平9亿样本，按Token算仍差14倍

另一个重要实验涉及训练效率。研究者在同一语料和比较设置下发现，Good Views训练方案用约2160万个样本，就能达到下一Token预测使用9亿个样本时的表征对齐水平。

• 按样本数量计算，效率提升约42倍；
• 按实际读取的文本Token数量计算，差距约为14倍。

这说明，训练时让模型学习什么样的信息关系，可能比单纯让它处理更多文本更重要。结合行业背景看，高质量