曾妍新论文披露字节10万亿参数路线图

曾妍团队的新论文没有把“理解与生成统一”写成一句口号,而是先交出一份不算漂亮、但信息量很大的成绩单。围绕Cola2,论文给出的关键数字是:训练用了约3460亿个token,模型还没收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过了Llama-3-8B。另一面,Llama-3公开的预训练量在15万亿token以上,是Cola2的43倍多。把这组数字放在一起看,Cola2并不是在同量级上“赢过”Llama-3,而是在用更小的训练规模,验证一条可能继续放大的技术路线。

曾妍新论文披露字节10万亿参数路线图

曾妍新论文披露字节10万亿参数路线图

Cola2用3460亿token换来60.10分,未收敛三个字被写