EN

MobileForge:无标注自优化GUI Agent数据飞轮

针对手机GUI Agent在真实App中适配成本高、依赖人工标注的问题,MobileForge提出一个无标注、自探索、自反馈、自优化的闭环系统。它通过MobileGym自动探索目标App、生成可执行任务,并利用HiFPO的分层反馈引导策略优化,无需人工编写任务或奖励信号。实验表明,仅用自动生成数据即可将Qwen3-VL-8B在AndroidWorld上的Pass@3提升至67.2%,接近闭源数据训练的专用模型。全链路开源,适合研究者和开发者快速搭建GUI Agent适配流水线。

返回场景库
研究难度:复杂数天至一周(取决于App复杂度和计算资源)

MobileForge:无标注自优化GUI Agent数据飞轮

针对手机GUI Agent在真实App中适配成本高、依赖人工标注的问题,MobileForge提出一个无标注、自探索、自反馈、自优化的闭环系统。它通过MobileGym自动探索目标App、生成可执行任务,并利用HiFPO的分层反馈引导策略优化,无需人工编写任务或奖励信号。实验表明,仅用自动生成数据即可将Qwen3-VL-8B在AndroidWorld上的Pass@3提升至67.2%,接近闭源数据训练的专用模型。全链路开源,适合研究者和开发者快速搭建GUI Agent适配流水线。

实现步骤

  1. 1

    克隆MobileForge仓库并安装依赖,参考GitHub上的安装指南。

  2. 2

    配置目标App的APK文件或模拟器环境,启动MobileGym进行自动探索。

  3. 3

    运行MobileGym-Curriculum,基于探索轨迹自动生成可执行任务课程。

  4. 4

    使用HiFPO进行多轮rollout,收集Agent执行轨迹并获取分层评估反馈。

  5. 5

    利用hint-contextualized GRPO更新策略模型,重复迭代优化。

  6. 6

    在AndroidWorld或MobileWorld上评测模型性能,对比基线结果。

推荐工具栈

gui-agentdata-flywheelself-optimizationmobile-automationreinforcement-learning