在线强化学习框架提升iOS应用UI导航

作者段培东*, 加特米里·赛义德·哈什亚尔*, 杰夫·尼科尔斯, 埃马纽埃尔·阿贝, 萨米·本吉奥

虽然前沿的视觉语言模型在用户界面（UI）导航方面表现出强大的能力，但它们的高推理成本阻碍了日常使用。

相反，通过监督微调（SFT）或离线强化学习训练的小模型往往会记住静态轨迹，导致执行脆弱且无法从错误中恢复。

为了解决这些限制，我们提出了一种新的在线强化学习框架，直接在实时iOS应用程序上训练UI导航代理。

我们的框架将代理解耦为两个专门组件：一个规划代理和一个UI基础模型。

我们依赖于一个作为裁判的大型语言模型（LLM）来提供全面的奖励信号，结合密集的、按步反馈来评估中间进度，以及一个用于整体任务完成的终端奖励。

为了有效利用这种双重奖励结构，我们使用具有按步优势估计的近端策略优化（PPO）来优化代理。

此外，我们引入了GiGPPO，这是一种新颖的邻域条件价值估计方法，通过利用同时轨迹中视觉相似状态之间的奖励信号来提高评价者稳定性。

为了支持这种在线训练范式的大规模扩展，我们引入了一种高效的基础设施，它协调了数百个并发虚拟iOS设备。

在包括UINavBench、iOSWorld和AndroidWorld在内的严格基准上的评估表明，我们在线RL训练的代理在SFT和仅终端RL基线方面都显著优于，同时加速了训练收敛。

值得注意的是，我们的8B RL代理在Android环境的外部泛化中比SFT基线提高了近七倍，同时在真实iOS应用程序上优于Gemini-3.5-Flash，并与Gemini-3.1-Pro打成平手。

• * 平等贡献

相关阅读和更新。

多模态视觉语言模型（VLMs）通过融合对图像和语言的理解，能够实现强大的应用，但由于缺乏UI训练数据，许多模型在UI任务上的表现不佳。在本文中，我们通过结合现有的基于像素的方法和大型语言模型（LLM），将用于生成VLM成对文本-图像训练数据的配方应用于UI领域。与现有技术不同，我们的方法不需要人工提供的标注，…

阅读更多

随着生成式人工智能的进步，人们越来越多地致力于创建能够通过操作用户界面（UI）来管理日常任务的自主代理。虽然先前的研究已经研究了AI代理如何导航UI和理解UI结构，但代理及其自主行为的影响——特别是那些可能具有风险或不可逆转的行为——仍然没有得到充分探索。在这项工作中，我们调查了现实世界的影响和…

阅读更多