LeCun小模型胜过大模型

一个只有1.09亿参数的小模型，居然在跨模态表征对齐任务上，把720亿参数的Qwen2.5甩在了身后。论文还发现：给模型换一套训练方法，达到同样效果所需的训练样本量，直接暴降到原来的1/42。LeCun团队用到的JEPA训练方法，通过Good Views让模型抓住不同观察背后的共同信息，Bad Views则可能让模型在光照、措辞这些细节上花太多功夫。在特定理想化条件下，如果不同模态的JEPA都使用Good Views训练，即使各自独立学习，最终形成的表征也可以通过一个旋转变换对应起来。他们证明了JEPA的柏拉图表征假说：只要使用Good Views，不同模态的编码器即使独立训练，学到的表征也能通过一次旋转对齐。而下一Token预测使用的是Bad Views。他们的1.09亿参数的文本JEPA，跨模态对齐表现超过了720亿参数的Qwen2.5，达到相同效果所需的训练样本也降到了原来的1/42。在Flickr30k数据集上验证思路，随后把实验扩大到约9.4亿张网页图片对应的文本数据。在相同的109M参数编码器和训练语料条件下，Good-View JEPA只用了2160万个训练样本，就达到了“预测下一个token”模型使用9亿个样本才达到的跨模态对齐水平。在WIT-1024基准上，与视觉模型DINOv2的表征对齐分数，参数量相差约660倍，小模型反而拿到了更高的分数。