明略科技联合中科院提出通用视觉骨干网络VisionHOPE

人眼在观察陌生事物时，从来不是按一套死板的程序走到底的。 读一封字迹潦草的手写信，最难认的往往是开头几个字。 看得多了，我们渐渐摸清写信人的笔画和连笔习惯，后面的字也就越认越顺。 医生阅片、考古学者辨认拓片，也有类似的经验：前面识别出的线索，会影响后面如何观察和判断。 这看起来是一件很自然的事，但对视觉AI而言，要实现并不简单。 一张图片进入模型后，哪些区域需要重点关注、不同位置的特征怎样关联，模型已经能够根据眼前的画面作出调整。

可在很多现有架构里，决定信息如何被学习、该更新多少、哪些旧信息应当保留的规则，仍主要由训练阶段确定。 换一张图片，模型的计算结果会改变，背后的许多学习规则却不会跟着改变。 明略科技联合中国科学院自动化研究所提出并开源VisionHOPE——首个以自修改学习系统为核心构建的通用视觉骨干网络。 它让模型在一次前向计算中，一边读取和保存图像信息，一边根据已读到的内容更新自己的学习方式。 前面看过的区域，能够参与决定后面的特征怎样建立关联、学习步长该有多大、已有记忆应保留多少。 这项研究并不只停留在机制设计上。

在ImageNet-1K图像分类基准上，拥有52.9M参数的VisionHOPE-S取得85.2%的Top-1准确率，参数量不到VMamba-B（89M）的六成，准确率高出1.3个百分点； VisionHOPE-B的准确率达到85.6%。 同时，其自修改机制的核心计算量随Token数量线性增长。 论文发布后曾登上Hugging Face每日论文榜第2名，GitHub开源仓库也在短时间内收获了1.3k Stars。 目前，我们已将全部代码、底层算子与预训练权重按MIT协议向社区开放。

VisionHOPE的核心是一个名为SRNL（自指嵌套学习）的模块。 可以把它理解为一套会随着读图过程不断调整的记忆系统。 普通的记忆机制着重保存模型已经看到了什么，SRNL除了保存内容，还会维护影响下一步学习的规则。 为此，我们设计了五类可更新的参数记忆。 其中，内容记忆保存图像信息，供后续读取和输出； Key记忆负责生成写入索引，让新信息与已有记忆建立关联； Value记忆参与生成内部学习目标，决定当前学习要朝什么方向修正； 学习率记忆控制每次更新的幅度； 保留率记忆则决定旧信息在更新时保留多少。

五类记忆的分工不同，但参与的是同一条学习链路。 每当一张新图像进入模型，它们会先从训练中学得的初始状态出发。 随着新的图像特征逐个进入SRNL，现有记忆先生成对应的Key、Value、学习步长与保留率。 随后，五类记忆分别依据自身状态构造学习目标，并将目标与当前响应比较，得到各自的学习信号，完成更新。 更新后的状态接着参与下一个Token的计算。 这样的更新还需要避免“记得太多”。 天空、草地或建筑物的重复纹理中，相邻区域往往包含高度相似的信息。 如果每次都把新特征原样加入，重复内容就可能不断堆积。

VisionHOPE使用Delta梯度下降（DGD）：写入前先检查当前记忆对Key的响应，再将需要修正的差值写进去，减少无效的重复累积。 关键在于，这些变化发生在同一张图片的处理过程中。 模型读到后面的区域时，利用的是前面区域已经参与更新过的记忆，而不必等处理完图片、再重新训练一次模型。 让记忆参与调整自己的后续更新，会带来一个直接风险：反馈可能被反复放大。 假如某一步更新使记忆数值增大，下一步据此产生的学习信号也可能更强，继而推动记忆进一步增大。 这种循环最终可能让训练失去稳定性。

为此，我们设计了两层稳定性约束。 第一层是软注入上限，平滑地限制每次新反馈的注入强度。 旧记忆的保留比例越高，允许注入的新反馈就越少，使两者之和保持在稳定范围内； 第二层是谱截断约束，限制已有记忆在传递过程中的放大幅度，只在候选步长超过稳定上限时生效。 这一层约束还有理论支撑。 论文证明，在二者共同作用下，无论是逐Token递推还是分块递推，五类记忆的范数都不会沿扫描路径增长到超过初始状态。 模型得以不断修正内部学习方式，同时将反馈放大约束在可证明的范围内。 一张图片有上下左右，计算也不能只沿一条路走。

解决了“怎么学”与“怎么稳”，另一个需要解决的问题是计算效率。 SRNL本身沿序列递推，但图像是二维的：仅依靠单一方向，难以充分利用上下、左右的空间关系； 如果所有Token都严格依次更新，又会形成串行瓶颈。 VisionHOPE因此采用四向扫描：沿行、列分别正向和反向读取图像，形成四条独立路径。 每个方向都有自己的五类记忆； 扫描结束后，再把结果还原到二维空间，并按通道加权融合，让不同位置能够汇集来自四个方向的信息。 而在计算效率上，为了进一步提速，模型把一整行或一整列视为一个计算块。

块内各位置以块起点的记忆状态为基础，并行生成更新需要的中间量； 记忆更新再在块内按顺序累积，传递到下一行或下一列。 这样既保留了连续更新的机制，也让一部分计算能够借助GPU并行完成。 实际测试显示，在单尺度模型P-VisionHOPE-S中，将14个Token设为一个块，推理速度达到逐Token版本的2.86倍； 两者的Top-1准确率分别为82.3%和82.4%，差距只有0.1个百分点。 一种新的学习机制究竟有没有价值，最终还要回到图像识别任务本身。 我们先在ImageNet-1K上验证图像分类能力。

在224×224输入分辨率下，VisionHOPE提供Tiny、Small、Base三种规模。 与ConvNeXt、VMamba的对比结果如下； 论文也对ViT与TTT类骨干进行了完整比较。 在较小规模上，VisionHOPE-T比VMamba-T少3.4M参数，准确率仍高出1.5个百分点。 VisionHOPE-S的参数量不到VMamba-B的六成，准确率高出1.3个百分点。