自然语言设计功能蛋白质

根据预期功能设计蛋白质是生物催化与蛋白质工程的重要研究目标。 现有方法通常需要以天然蛋白为改造起点，或由研究者将功能要求转化为结构模板、关键位点等具体约束条件，而这需要较多的结构生物学与计算设计知识，增加了研究者开展蛋白质设计的技术门槛。 如何直接利用自然语言描述指导蛋白质生成，成为连接功能需求与分子设计的重要问题。

在本工作中，作者开发了具有约 160 亿参数的蛋白质生成模型 Pinal，以自然语言描述作为输入，将设计任务分解为两个阶段：T2struct 首先根据功能描述生成蛋白质结构表示，SaProt-T 随后在结构与原始描述的共同约束下设计氨基酸序列。 作者通过大规模蛋白质—文本配对数据进行训练，并通过绿色荧光蛋白、聚对苯二甲酸乙二醇酯（PET）水解酶、醇脱氢酶和 H-protein 的实验检验了生成候选的相应功能。 由于蛋白质结构相对于序列更为保守，作者选择结构作为自然语言和序列的中间表示。

在采用相同模型架构、并按 30% 序列一致性阈值划分训练集和验证集的对照实验中，以结构符号为预测目标的模型在验证集上取得了更高的下一符号预测准确率，为采用结构作为中间表示提供了依据。 为使结构适合语言模型处理，模型采用 Foldseek 的 3Di 进行编码。 它将每个残基与空间近邻的局部几何关系归入 20 种结构状态之一，以一个离散符号（token）表示，整条蛋白结构因而成为一维符号序列。 模型可以像预测文字的下一个词一样预测下一个结构符号而无需生成三维坐标。

模型的第一阶段是根据文本功能描述生成蛋白质结构表示，由 T2struct 完成。 T2struct 采用编码器—解码器 Transformer 架构，其中 T5 编码器使用已有预训练权重初始化，GPT-2 式结构解码器由作者从头训练。 T5 编码器将输入描述转化为包含上下文信息的语义向量； 结构解码器通过自注意力整合已有结构符号之间的信息，并通过交叉注意力引入文本的语义表示，预测下一个结构符号的概率分布。 在训练过程中，每个样本同时提供蛋白质的文本描述及其对应的参考 3Di 结构序列。

模型以文本描述和参考结构序列的前一部分为条件，预测紧随其后的结构符号，再根据预测结果与目标符号之间的差异更新参数，使正确符号获得更高的预测概率。 这一预测任务覆盖结构序列中的各个位置，使模型逐步学习功能描述与结构之间的对应关系。 实际生成时，模型根据输入描述和自身已经生成的结构符号继续预测，直至形成完整的结构符号序列。 模型的第二阶段为从结构到序列的逆折叠设计，由 SaProt-T 完成。 作者以经过预训练的 SaProt 为基础构建 SaProt-T。

原始 SaProt 通过氨基酸与 3Di 结构信息的联合表示，学习序列和局部结构之间的对应关系。 由于相似结构可能承载不同功能，仅有结构信息不足以明确全部功能要求，作者引入预训练的生物医学文本编码器 PubMedBERT，将其输出的文本向量经过可训练的线性投影调整维度，再作为一个额外位置添加到结构向量序列之前，使原始功能描述继续参与序列设计。 随后，自注意力层在这一联合输入中整合文本条件和各结构位置的信息，为每个位置预测氨基酸。 训练时，模型保留已知蛋白的结构与文本，遮蔽氨基酸信息，并学习恢复真实氨基酸；

生成时，则依据输入结构和文本预测各位置的氨基酸。 Pinal 利用两个阶段均能计算条件概率的特点，对结构与序列进行联合筛选。 同一功能描述可能对应多种结构，而生成概率最高的结构不一定对应联合评分最高的结构—序列组合。 因此，作者先采样多个结构，再为每个结构设计序列，将两个阶段的对数概率相加，并按序列长度归一化后进行排序。 在标准计算评测中，每个提示生成 50 个结构—序列候选，保留排名前 5 个进行评价。 模型训练需要大量文本描述及其对应的蛋白质序列和结构数据。

作者以人工审阅的 Swiss-Prot 注释作为高质量文本来源，提取不同类型的功能信息，并通过大语言模型整合和改写描述，增加语言表达的多样性。 对于规模更大的 TrEMBL 蛋白质序列库，作者先按 50% 序列一致性聚类并选取代表蛋白，再利用 ProTrek 从 Swiss-Prot 描述池中检索与各蛋白匹配程度最高的文本，建立大规模蛋白质—文本配对。

此外，作者还纳入了此前 Evolla 研究提供的大语言模型生成的蛋白质功能问答数据，将其中的回答作为文本描述，形成 SwissProt-LLM 和 TrEMBL50-ProLLM 数据集。 结合 InterPro 的关键词—蛋白质配对及 AlphaFold 蛋白质结构数据库的结构信息，最终构建的训练数据包含约 17 亿组蛋白质—文本对，覆盖约 1.35 亿条不同蛋白序列，使模型能够同时接触关键词、短句及较完整的功能描述。 作者分别考察了训练数据量和模型规模对性能的影响。

增加训练数据后，设计序列的文本匹配分数和相对于目标蛋白的结构相似度总体提高； 扩大 T2struct 参数规模也改善了相应性能，最终 Pinal 的总参数量约为 160 亿。 此外，作者在后续训练阶段筛选文本匹配程度更高的数据，并排除置信度较低的预测结构，以改善生成结构质量、减少过长的连续氨基酸重复。 在本文的计算评测设置下，Pinal 生成候选的文本匹配分数、与目标蛋白的结构相似度及预测结构置信度，总体优于所比较的 ProteinDT 和 Chroma 模型。

对于关键词条件生成，作者还通过 InterProScan 对生成序列进行注释，检查其能否恢复输入的功能关键词； Pinal 在该测试中优于所比较的 ESM3 模型。 为考察生成序列的多样性，作者针对辅酶 A 连接酶、葡萄糖激酶、醛脱氢酶和碳酸酐酶四个酶家族，将 Pinal 生成序列与 Swiss-Prot 中的天然同源序列进行多序列比对，并采用最大似然法构建系统发育树。 生成序列分布于多个分支，部分还与天然同源序列交错分布，表明 Pinal 能够在不同酶家族中生成具有多样性的蛋白质序列。

进一步与 UniRef100 序列数据库和蛋白质结构数据库（PDB）比较发现，部分候选在保持较高结构预测置信度（pLDDT）的同时，与已知蛋白的序列一致性或结构相似度较低，显示出一定的序列新颖性与预测结构新颖性。 为进一步检验生成蛋白质能否实现预期功能，作者选择绿色荧光蛋白、PET 水解酶、醇脱氢酶和 H-protein 作为四类设计任务，分别将对应的功能描述输入 Pinal。 随后，根据文本匹配程度和预测结构质量等指标优选候选序列，进行基因合成、重组表达及相应的功能检测，以考察该框架在不同功能任务中的适用性。

在绿色荧光蛋白（GFP）的设计中，作者结合结构质量、序列差异及已知发色团基序等条件，从 5 万条初始候选中选取 29 条进行实验，获得具有绿色荧光的 pinalGFP。 pinalGFP 的预测结构呈 GFP 样 β 桶结构。 将其发色团第 73 位色氨酸替换为甘氨酸（W73G）后，荧光明显降低，表明该发色团位点对荧光功能具有重要作用。 在 PET 水解酶的设计中，作者从 20 万条初始候选中优选 94 条，以对硝基苯基丁酸酯（pNPB）为底物进行酯酶活性筛选，得到表现突出的 pinalPETase36。

随后，作者用纯化酶在 40℃、pH 8.0 下处理预处理 PET 膜，通过高效液相色谱（HPLC）检测对苯二甲酸（TPA）及单（2-羟乙基）对苯二甲酸酯（MHET）的释放，并通过扫描电镜观察材料表面变化。 产物检测与表面形貌变化共同支持该候选对预处理 PET 底物的水解作用。 在醇脱氢酶（ADH）的设计中，作者从 2500 条初始序列中优选 8 条，成功表达纯化 5 条，涵盖短链、中链及铁依赖长链类型。 在所用检测条件下，HPLC 分析确认五种纯化蛋白均具有催化乙醇生成乙醛的活性。

这表明，模型能够针对同一类功能要求，生成属于不同结构与序列类型的活性候选。 作者设计了甘氨酸裂解系统中的载体蛋白 H-protein。 该蛋白通过硫辛酰基摆臂转运反应中间体，需要与体系内其他组分协同作用。 作者将候选蛋白用于逆向运行的重构甘氨酸裂解体系，检测其支持甘氨酸合成的能力。 20 条优选候选中，14 条可溶表达，5 条表现出相应