☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
文心智能体平台
百度推出的基于文心大模型的Agent智能体平台，已上架2000+AI智能体
0 查看详情
agentcpm-gui 是一款由清华大学和面壁智能团队共同开发的开源端侧 gui agent，专为中文应用进行了优化。该模型基于 minicpm-v（80亿参数）构建，能够接受智能手机截图作为输入，并自主执行用户指定的任务。通过在大规模中文安卓应用界面数据上进行预训练，agentcpm-gui 显著提升了对 gui 元素的理解和定位能力。在中文 grounding benchmark 和 agent benchmark 上，agentcpm-gui 均取得了最先进的性能，是首个针对中文应用精细优化的开源 gui agent。
AgentCPM-GUI的主要功能
中文应用操作：能够理解和操作多种中文应用，如高德地图、大众点评、哔哩哔哩和小红书等。任务自动化执行：在接受用户指令后，自动拆分任务步骤，并在相应应用中准确执行操作，如点单、播放视频等。高质量 GUI 定位：可以准确定位屏幕上的按钮、输入框、标签等 GUI 元素。OCR 定位与识别：能够识别屏幕中的文本内容，并根据文本描述执行相应操作。
AgentCPM-GUI的技术原理
预训练：通过在大规模中文安卓应用界面数据上进行预训练，覆盖了常见的按钮、输入框、标签、图标等通用 GUI 控件。基于高质量的 GUI Grounding 预训练，提升了模型对视觉界面元素的理解和定位能力。同时具备 OCR Grounding 能力，能够准确定位和识别屏幕中的文本内容。强化微调（RFT）：设计了动作格式奖励、动作类型奖励、动作参数奖励三个维度的奖励函数，引导模型自主生成高质量的思维链过程。在奖励函数的引导下，模型不断优化自身策略，获取更高的奖励，从而提升任务的执行成功率。紧凑动作空间设计：基于紧凑的 JSON 格式，将动作平均长度压缩至 9.7 个 token，减少了推理时的计算和内存需求。这种紧凑的动作空间设计使模型更适合在移动设备上部署，加快了端侧推理速度，并缓解了隐私安全问题。
AgentCPM-GUI的项目地址
GitHub仓库：https://www.php.cn/link/ab64c7ef8d0578f7dd1acb6d064a61cdHuggingFace模型库：https://www.php.cn/link/0871af0e2e24e2b794de31ce67099ba0
AgentCPM-GUI的应用场景
智能助手：可以帮助用户基于语音或文字指令完成各种应用操作，如点外卖、播放音乐等。自动化测试：用于自动化测试中文应用的功能和界面，提高测试效率。老年关怀：简化老年人使用智能手机的操作，如视频通话、查看天气等。视障人士辅助：结合语音指令和屏幕阅读器，帮助视障人士更便捷地使用应用。企业应用自动化：自动化执行企业中的重复性任务，如数据录入和报表生成，提高效率。
以上就是AgentCPM-GUI— 清华联合面壁智能开源的端侧GUI智能体模型的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/134125.html
微信扫一扫 
支付宝扫一扫 
