Nature Communications：强化学习驱动机器人实验平台自主发现四种不对称催化新反应

不对称合成是制备手性分子的重要技术，在药物研发和精细化学品制造中具有广泛应用。然而，新型不对称反应的发现通常依赖化学研究人员反复筛选底物、催化剂及反应条件，实验过程复杂且耗费大量时间。近年来，自主机器人实验平台为加速化学发现提供了新的可能，但现有系统大多针对预定义反应的优化任务，缺乏对未知反应活性、产物手性及连续实验决策的综合处理能力。

研究人员开发了一种由深度强化学习（Deep Reinforcement Learning，DRL）驱动的自主机器人实验平台，能够在预先定义的不对称催化反应空间中自主探索反应条件、识别手性产物、筛选催化剂并评估底物适用范围。该平台通过模拟不对称催化实验的数字孪生环境训练强化学习智能体，再将学习到的实验决策策略迁移至真实机器人系统。

在手性磷酸（CPA）催化反应体系中，平台连续运行约一个月，累计完成3,000余次自主决策，发现四种此前未报道的高对映选择性转化，包括一种轴手性分子的合成以及三种联烯合成反应，其中一项实现了吡咯并吡咯骨架的对映选择性官能团化。研究表明，强化学习与机器人实验的深度结合能够将传统依赖人工经验的不对称反应探索转化为自主、连续且数据驱动的化学发现过程。

手性在分子识别、生物活性和药物作用中发挥着重要作用。许多药物分子的不同对映异构体在药理活性、代谢行为和毒性方面存在显著差异，因此，高效、选择性地构建手性分子一直是现代有机合成化学的核心目标。

不对称催化通过手性催化剂调节竞争性反应过渡态之间的能量差异，实现对产物立体化学构型的控制。然而，催化剂与底物之间涉及氢键、离子配对和空间位阻等复杂相互作用，微小的结构或反应条件变化便可能导致产率和对映选择性发生明显改变。

传统不对称反应开发通常需要研究人员依次完成反应活性探索、产物鉴定、对映体过量值（e.e.）测定、催化剂筛选、条件优化及底物范围研究。这一流程不仅涉及大量重复实验，还高度依赖研究人员的化学经验。

近年来，机器人自动化和机器学习显著提高了化学实验效率，但多数自主实验系统仍以优化已知反应的产率或其他单一指标为目标。相比之下，未知不对称反应的发现更加复杂，因为系统事先并不知道反应是否发生、是否生成手性产物，以及哪些催化剂能够产生较高的对映选择性。

此外，常规质谱或光谱分析虽然能够实现高通量检测，却难以直接提供完整的手性信息。手性色谱分析通常需要额外的分离条件优化，进一步限制了实验自动化程度。

因此，研究人员尝试将强化学习决策算法、自动化反应执行及在线手性分析整合为完整的自主实验系统，使机器人能够根据实时实验结果决定下一步操作，而非仅执行预先设定的实验程序。

方法

研究人员构建了由液体处理机器人、温控反应模块和双模式高效液相色谱分析系统组成的自主化学实验平台，实现微摩尔级反应的自动配制、执行、产物分离与对映选择性测定。系统利用正相色谱分离反应组分，再将目标馏分在线转移至手性色谱柱，结合紫外–可见光二极管阵列检测器获取反应产物的光谱及色谱信息。在算法层面，研究人员建立了模拟反应动力学、色谱保留行为及手性分离过程的两个数字孪生环境，分别训练负责反应探索的主智能体和负责手性分析的辅助智能体。两类智能体采用卷积神经网络与长短期记忆网络结合的策略架构，并通过近端策略优化（PPO）算法学习实验控制策略。主智能体根据色谱结果调整反应时间、温度、流动相极性和样品浓度，并决定是否分离产物或推进催化剂筛选；手性智能体则负责调整手性色谱条件并判断产物是否具有手性。训练完成后，研究人员将智能体部署到真实机器人平台，以10种亲电试剂和10种亲核试剂构建的反应空间为研究对象，开展自主反应探索、手性磷酸催化剂筛选及底物范围验证，并通过人工重复实验、核磁共振及手性色谱确认发现的反应与产物。

结果

构建支持不对称催化发现的自主机器人实验平台

研究人员首先设计并搭建了一套集成反应执行、产物分析和自动决策的机器人实验系统，使其能够完成传统不对称合成研究中的多个关键步骤。

该平台以液体处理机器人为核心，通过自动分配底物、催化剂和溶剂实现微摩尔级反应设置。系统采用容量为2 mL的密封反应瓶，并利用三维打印技术构建可容纳154个反应位置的反应阵列。温控模块支持−40至70 °C的实验条件，从而满足不同催化反应对温度的要求。

平台最重要的设计是集成正相色谱与手性色谱的自动分析模块。反应混合物首先通过正相色谱分离不同化学组分，系统根据色谱峰及紫外吸收信息识别潜在产物，再将选定馏分在线转移至手性色谱柱，判断产物是否具有手性并测定对映体过量值。

与常规自动化反应平台相比，该系统能够在无需人工干预的情况下完成产物分离与手性分析。单个反应样品的分析约需45分钟，而类似操作通常需要经验丰富的化学研究人员投入约4小时的连续人工工作。

机器人平台还集成了两套分析模块及统一的软件控制系统，可以在24小时内完成约50个反应的制备和分析，并将实验条件、色谱信号及产物信息自动保存至数据库。这一系统为后续强化学习控制提供了可靠的实验基础，使机器人不仅能够执行预定反应，还具备根据分析结果动态调整实验流程的能力。

图1｜强化学习驱动的不对称催化自主发现流程及机器人实验平台架构。

多智能体强化学习实现反应探索与手性分析的自主决策

在完成机器人硬件构建后，研究人员进一步开发了多智能体强化学习框架，使平台能够根据实时实验反馈自主选择下一步操作。

系统包含两个相互协作的智能体。主智能体负责反应探索，包括调整反应时间、温度、流动相极性和样品稀释程度，以及判断是否需要继续反应、分离产物或进入催化剂筛选。手性智能体则负责在线手性色谱分析，通过调整分离条件判断目标产物是否具有手性。

由于直接利用真实化学实验训练强化学习智能体成本过高，研究人员构建了两个模拟环境，分别描述反应动力学与色谱分析过程。这些环境通过随机生成反应速率、产物数量、色谱保留行为和光谱特征，模拟具有不同反应活性与分离难度的实验场景。值得注意的是，数字孪生环境并不试图准确预测某个具体化学反应的结果，而是训练智能体如何根据不完整的实验信息作出合理决策。

研究人员采用PPO算法训练两个智能体，并对主智能体引入课程学习策略，使其从简单的色谱峰选择任务逐步学习完整的反应探索流程。经过2,000万步训练，主智能体在模拟环境中的最终决策成功率达到98.9%。相比之下，不采用课程学习而直接训练完整任务的模型难以突破初始探索障碍。手性智能体经过独立训练后，手性判断准确率达到96%。最终，训练完成的策略被迁移至真实机器人平台，使系统能够连续执行实验、接收色谱反馈并自主作出决策。

图2｜多智能体深度强化学习框架、数字孪生环境及自主实验决策机制。

自主探索100组底物组合并识别潜在手性反应

为了验证平台在真实未知化学空间中的自主发现能力，研究人员选择10种结构不同的亲电试剂和10种亲核试剂，构建包含100组底物组合的不对称催化反应空间。所有反应最初采用外消旋BINOL衍生磷酸作为催化剂，在室温下反应4小时。随后，主智能体根据色谱分析结果动态延长反应时间、提高反应温度或调整分离条件，从而判断不同底物组合的反应活性和产物形成情况。

整个自主探索过程持续约一个月，累计实际运行417小时，完成672次实验和3,439次自主决策。其中，主智能体根据反应结果选择83个产物进行手性分析，并对部分反应作出进一步筛选或终止决定。手性智能体则执行大量在线色谱分离操作，为主智能体提供产物立体化学信息。

在100组反应中，平台正确识别了30组应推进后续筛选的反应和65组应排除的反应，仅出现3次假阴性和2次假阳性，整体决策准确率达到95%，精确率为94%，特异性为97%，F1分数为92%。

进一步分析发现，不同底物之间存在显著的反应活性差异。部分亲电试剂几乎不参与反应，而另一些底物能够与多种亲核试剂生成手性产物。尤其值得注意的是，吡咯并\[3,2-b\]吡咯衍生物N6在10组反应中有5组生成手性产物，为探索此前较少涉及的不对称官能团化反应提供了重要线索。这些结果表明，强化学习智能体能够在未知反应结果的条件下，根据连续实验反馈有效识别值得进一步研究的反应组合。

图3｜强化学习机器人对100组亲核–亲电底物组合的自主探索及决策表现。

自动催化剂筛选发现四种新的不对称转化

在完成初步反应探索后，研究人员进一步利用机器人平台开展手性磷酸催化剂筛选，以确定哪些反应能够实现较高的对映选择性。

研究人员从自主探索发现的候选反应中，根据底物组合的新颖性选择18组进行后续筛选，并针对每组反应测试10种不同的手性磷酸催化剂，共自动完成180次实验。结果显示，其中7组反应能够产生具有较高对映体过量值的产物。经过人工重复实验及核磁共振结构确认，研究人员最终确定四种此前未报道的不对称转化。

第一种反应是醇类亲电试剂E1与咔唑衍生物N1之间的C–H胺化反应，在催化剂C8作用下获得轴手性产物1，对映体过量值达到93%。第二种反应是吲哚嗪N2与炔丙醇E2之间的转化，在催化剂C2作用下形成手性联烯产物3，对映体过量值达到85%。第三种反应利用吡咯并\[3,2-b\]吡咯衍生物N6与炔丙醇E2反应，在催化剂C1作用下得到手性联烯产物2，对映体过量值达到92%。研究人员认为，这是该吡咯并吡咯骨架首次实现对映选择性官能团化。第四种反应则由炔丙醇E4与吲哚嗪N2形成另一类联烯产物，在催化剂C9作用下获得80%的对映体过量值。

此外，系统还识别了两种已报道反应类型的结构变体，其中一项产物具有99%的对映体过量值。这些发现证明，平台不仅能够优化已有不对称反应，还能够在预先设定但产物未知的底物组合中识别新的手性转化。

图4｜自动化手性磷酸催化剂筛选及新型高对映选择性反应的发现。

机器人自主完成反应底物范围研究并与人工实验保持一致

新反应的发现只是合成方法开发的第一步，进一步确定底物适用范围和结构变化对反应选择性的影响，是评价反应实际应用价值的重要环节。

研究人员选择吲哚嗪N2与炔丙醇E2生成手性联烯的反应RXN12，考察机器人能否自主完成底物范围研究。该实验选取不同取代的吲哚嗪与炔丙醇衍生物组成新的底物组合，分别通过机器人平台和人工批量反应进行测试，并比较两种流程得到的对映体过量值。

结果发现，机器人测得的对映选择性与人工实验总体一致。不同底物取代方式能够显著影响对映选择性，例如，在吲哚嗪骨架的特定位置引入氟或氯取代基后，对映体过量值分别由原始体系的85%提高至92%和96%。进一步改变炔丙醇芳基上的取代基时，多数组合仍保持良好的反应产率和较高的对映选择性，表明这一新发现的联烯合成反应具有一定的结构适应能力。

重要的是，机器人无需依赖人工逐步调整分离程序，即可自动完成反应制备、色谱分析及对映体过量值测定。这说明自主实验平台不仅可以承担早期反应发现任务，也能够进一步用于反应适用范围验证，并生成可用于建立结构–对映选择性预测模型的实验数据。

图5｜机器人与人工实验对吲哚嗪–炔丙醇不对称反应底物范围的比较。

新发现的联烯合成反应展现较广的底物适用范围

为了进一步评价新发现反应的合成实用性，研究人员对另外两种联烯形成反应RXN16和RXN32开展了更系统的底物范围研究。对于吡咯并\[3,2-b\]吡咯N6与炔丙醇E2之间的反应，研究人员通过改变炔丙醇芳基取代基及吲哚环上的取代位置，研究其对反应产率和对映选择性的影响。

结果显示，多种含有不同电子性质和空间位阻的底物均能够顺利发生反应，生成具有较高对映选择性的联烯产物。多数底物的对映体过量值保持在较高水平，其中部分卤素取代衍生物达到95%–96%。

值得注意的是，利用三甲基硅基替代部分芳基结构后，反应仍能够产生具有95%对映体过量值的产物，说明该催化体系能够适应一定程度的结构变化。对于另一种由吲哚嗪N2与炔丙醇E4形成联烯的反应RXN32，研究人员发现降低反应温度能够改善对映选择性，但需要延长反应时间以维持足够的底物转化。

在优化条件下，反应能够兼容多种含供电子或吸电子取代基的炔丙醇衍生物，同时对吲哚嗪骨架的氟取代、甲基取代等变化表现出良好的耐受性。这些底物范围实验说明，机器人发现的反应并非仅对初始筛选中的特定底物有效，而具有一定的化学普适性，为后续反应机理研究和合成应用提供了基础。

图6｜新发现的吡咯并吡咯和吲哚嗪不对称联烯合成反应的底物适用范围。

讨论

本研究通过将深度强化学习与自动化机器人实验结合，构建了能够自主探索不对称催化反应空间的闭环化学发现平台。与传统主要关注反应条件优化的自主实验系统不同，该平台能够连续完成反应探索、产物识别、手性分析、催化剂筛选及底物范围研究，实现从未知反应探索到新合成方法验证的完整工作流程。

该研究的重要创新之一在于采用数字孪生环境预先训练强化学习智能体，使复杂的实验决策策略能够在模拟环境中学习，再迁移至真实机器人平台，从而减少直接使用真实化学实验进行算法训练的成本。同时，在线正相与手性色谱分析模块解决了自主不对称反应探索中的关键检测瓶颈，使机器人能够获得对映选择性信息并将其用于后续实验决策。

另一个值得关注的特点是，该系统在自主探索阶段并不依赖具体分子结构表示，而是根据实时色谱和光谱结果作出决策。这种结构无关的策略降低了系统对特定反应类别和预先建立的反应预测模型的依赖，同时能够系统记录成功与失败实验，为未来构建更加全面的化学反应数据集提供支持。

不过，该框架仍存在一定局限。研究中的100组底物组合经过人工预先筛选，具有较高的潜在反应合理性，因此尚不能证明系统能够在完全开放、规模更大的化学空间中保持同样效率。此外，由于智能体尚未显式利用分子结构和反应机理信息，当前系统主要学习实验控制和分析策略，而不能直接建立结构与反应活性、对映选择性之间的定量关系。

未来，将基于分子结构的反应预测、主动学习与强化学习机器人实验进一步结合，有望使系统从自主执行实验发展为能够提出、验证并迭代化学假设的智能发现平台。

总体而言，该研究证明，深度强化学习驱动的机器人系统能够在有限人工干预下自主发现新的不对称反应，并完成从初步探索到催化剂筛选和底物范围验证的连续实验流程，为自动化有机合成和自主化学发现提供了新的研究范式。

整理 | DrugOne团队

参考资料

Klochowicz, P., Kassir, A.F., Parida, C. et al. Reinforcement learning guided robotic platform that investigates and discovers asymmetric reactions. Nat Commun (2026).

https://doi.org/10.1038/s41467-026-78271-9

内容为【DrugOne】公众号原创｜转载请注明来源