structRFM探索RNA结构感知的生物基础模型

海量RNA序列为基础模型提供了学习材料，但分子的组织方式还藏在字母之间：哪些位置配对，哪些片段形成茎与环，折叠后又如何呈现功能部位。要让AI更好地服务生物研究，一个关键问题是把这些关系转化为有效的训练信号。近日，发表于《Nature》正刊的structRFM给出了一项具体探索。中国科学技术大学MIRACLE实验室博士毕业生朱河勤为独立第一作者，周少华教授、熊鹏研究员为共同通讯作者。研究从数据构建、掩码设计到跨任务验证，将RNA二级结构用于基础模型学习。

生物基础模型的一个目标，是把不同研究中反复需要的分子规律沉淀为可复用特征。面对一个新任务，研究者可以利用这些特征，再学习所需的输出。对RNA来说，碱基配对是一种明确、常见且可计算的关系，因此适合作为切入口，检验生物知识究竟怎样参与模型训练才有效。团队提出MUSES，整合ViennaRNA、CONTRAfold与BPfold的预测，为约2100万条RNA构建序列—二级结构配对数据。三种方法分别利用热力学、概率建模和深度学习信息，通过集成缓解单个预测器的偏差。

数据中的结构来自计算注释，其价值在于让大量序列具备可参与训练的配对信息。 SgMLM进一步规定如何使用这种信息。模型仍通过补全被遮蔽的核苷酸学习序列，但部分遮蔽位置由二级配对关系决定：相关位置被联合遮住，使恢复任务要求模型综合其余上下文。训练保留随机掩码，并动态平衡两类策略；结构知识因此参与学习过程，而无需把预训练绑定到某一种任务标签。训练后的编码器只输入序列，输出序列级、核苷酸级和成对特征，分别支持分子类别、具体位置和位置关系的判断。

这三类特征与下游任务连在一起，说明基础模型的复用来自共同表示与不同任务模块的配合。 MUSES与SgMLM因此分别解决注释规模和学习方式两个相连的问题。团队抽取覆盖19个家族的23994条RNA，将序列特征用t-SNE投影；预训练模型对家族的区分比随机模型清晰。在成对热图中，部分高响应位置与真实接触图中的配对相对应。同源性测试进一步比较特征能否把相关与无关的RNA分开。研究在Rfam和ArchiveII600中分别抽取同源、非同源序列对，计算特征相似度分布的重叠比例。

structRFM的OR约为0.10和0.45，两个基准均进入17个生物语言模型的前四。在116条PDB RNA的零样本配对测试中，团队检查不同层和注意力头，并扫描阈值。最佳注意力头的INF为0.462，其他头和阈值的表现存在明显差异。序列级特征是否保留家族信息，与成对特征是否反映接触，并不是同一件事。图2分别检查这两类信息，再引入同源性和零样本配对的定量评估，使“结构感知”获得可以观察和比较的依据。图3通过结构任务与消融对照检验训练设计。

二级预测将核苷酸特征与序列编码连接，经结构模块及动态规划获得配对。在ArchiveII600与bpRNA-TS0上，INF分别为0.890和0.669，比未采用结构引导预训练的对照相对提高4.46%和6.19%。 INF关注配对是否与参考一致，将模型收益落实到RNA结构的具体关系上。图3还按家族拆分结果，并为测试RNA计算与训练数据的最大相似性。结构引导版本在样本数较多的八个家族上取得更高INF，23S rRNA等较长序列仍具挑战；两个基准中的相似性与精度呈弱线性联系。

研究将成对特征接入trRosettaRNA框架，替代原有预测接触图，并保留多序列比对输入。 Zfold据此预测几何约束、生成三维构象。基础模型学习到的位置联系，因而可以进入更复杂的空间建模流程。图3在CASP15天然RNA、CASP16和RNA-Puzzles上以多种指标检验构象，平均TM-score为0.45、0.33和0.58。模型相对原trRosettaRNA配置和未结构引导对照的改进，与图中代表性三维构象、参考结构及配对图形成对应证据。

图4先把三维预测的TM-score、配对精度与训练相似性放在一起观察，部分低相似性目标仍有较好的预测。研究还比较直接预测的二级配对，以及从三维构象恢复的配对，检查不同建模途径保留结构信息的情况。这既帮助理解预测结果，也检验基础表示能否在两种结构任务之间复用。缠绕分析显示，多数目标在多数类别上没有缠绕，未检测到打结伪影；立体化学检查同时发现键角和平面性误差较常见。这样的结果指出，学习到整体折叠规律之后，局部构象质量仍有进一步优化空间。

新对象测试则从预训练后发布的Rfam家族整理436条RNA，两种微调版本的二级结构INF分别为0.648和0.698。图4还比较人和小鼠长非编码RNA分类，重叠窗口策略的F1均超过0.94。类别更新与长度变化分别提出不同的迁移要求，使“基础模型”这一定位有具体任务支撑。图5检验结构引导学习能否支持功能相关推断。剪接位点任务逐位置识别供体与受体，关联前体RNA加工； IRES任务判断是否含有介导非帽依赖翻译起始的元件；非编码RNA任务区分分子类别。

模型根据问题使用核苷酸特征或序列特征，通过任务微调得到相应输出。 structRFM的剪接位点平均top-k accuracy为0.416，IRES识别F1为0.701，13类非编码RNA分类F1为0.979。结构线索因此在标签形式与生物对象都不同的任务中得到检验。对IRES和非编码RNA测试，预测置信度与训练相似性的线性联系都较弱，补充了跨任务复用的证据。图5同时比较超过512个核苷酸时的处理方式：截断只保留开头，窗口覆盖整条序列，50%重叠窗口额外保留边界上下文。

这解释了图4中长RNA分类的提升，也展示了根据任务特点扩展基础编码器用途的方法。窗口适配也体现了基础表示与任务设计之间的分工。 RNA较长时，截断会遗漏后半段；无重叠分段覆盖全序列，却可能割开有意义的局部片段。重叠窗口让边界附近的信息在相邻输入中再次出现，再汇总各段表示完成分类。这样的实验说明，输入处理方式会影响已有模型的可用范围，需要和网络本身一起检验。从BPfold到structRFM，持续的研究线索是如何让分子结构成为模型学习的有效信息。

未来可以进一步连接三维构象、相互作用、功能注释和自然语言，并通过任务反馈检验新增信息。更广泛的多模态生物基础模型，需要在这种数据、训练与生物问题的对应中逐步建立。