在线强化学习框架提升iOS应用UI导航

我们提出了一种新的在线强化学习框架，直接在实时iOS应用程序上训练UI导航代理。我们的框架将代理解耦为两个专门组件：规划代理和UI接地模型。我们依靠LLM作为法官提供全面的奖励信号，结合密集的、按步反馈来评估中间进度，以及终端奖励来评估整体任务完成。为了有效地利用这种双重奖励结构，我们使用具有按步优势估计的近端策略优化（PPO）来优化代理。此外，我们引入了GiGPPO，这是一种新的邻域条件价值估计方法，通过利用同时轨迹中视觉相似状态上的奖励信号来提高评价者稳定性。为了支持这种在线训练范例，我们引入了一种高效的设施，该设施协调数百个并发虚拟iOS设备。在UINavBench、iOSWorld和AndroidWorld等严格基准上的评估表明，我们在线RL训练的代理在SFT和终端仅RL基线方面都表现出色，同时加速了训练收敛。值得注意的是，我们的8B RL代理在Android环境的外部分布泛化方面比SFT基线提高了近七倍，同时在真实iOS应用程序上优于Gemini-3.5-Flash，并与Gemini-3.1-Pro持平。