Android 电脑控制

Android 计算机控制框架允许原始设备制造商(OEM) 预装的 AI 助理在设备上安装的所选应用(“目标应用”)上执行自动化操作。本指南简要介绍了计算机控制框架以及目标应用AI 助理应用的技术注意事项。

显示计算机控制框架的图表。
图 1:典型计算机控制框架的概念。

Android 电脑控制功能概览

Android 的计算机控制功能允许 OEM 预加载的助理应用在受控环境中启动本地安装的目标应用并与之互动。

当计算机控制框架首次尝试与目标应用互动时,系统会自动显示一个权限对话框。获得该权限后,助理应用可以在目标应用上执行多步骤任务,从而使助理应用能够使用目标应用来满足用户的请求。

用于使用任务自动化的系统权限对话框。
图 2:使用任务自动化的系统权限对话框。

应用场景示例

为了对设备上安装的一组目标应用执行任务自动化,原始设备制造商(OEM) 预装的助理可以迭代捕获这些应用的屏幕截图,做出智能决策来推断操作,并应用操作来控制应用的界面。与目标应用的互动基于其现有的本地数据和上下文。

助理应用可能旨在代表用户完成多步骤任务。以下是用户可能会如何使用此类应用的示例:

  • 订餐:“在我的咖啡馆订购一杯小杯茶,然后自取。”
  • 网约车:“预订前往机场的网约车。”
  • 杂货配送:“重新订购我上周买的杂货。”

“电脑控制”功能的运作方式

计算机控制框架使 OEM 预加载的助理能够在安全的后台虚拟显示屏中启动目标应用并运行这些应用。

典型流程如下:

  1. 请求会话:助理应用必须具有特许 ACCESS_COMPUTER_CONTROL 权限。应用可以请求针对一组最多六个目标应用建立计算机控制会话,以按顺序执行。系统一次只允许一个有效会话。
  2. 获取用户权限:当助理应用请求会话时,框架会隐式触发系统对话框。此对话框请求用户授予权限,以允许助理自动控制所请求的目标应用。
  3. 自动化:如果用户授予权限,系统会在虚拟设备上运行目标应用,类似于投屏。助理应用会使用该会话来启动目标应用、捕获屏幕内容,并模拟用户输入事件(包括点按、滑动和文本输入),以满足用户的请求。
  4. 移交控制权:助理可以将控制权移交给用户以进行人工干预,也可以让用户手动请求接管控制权。例如,这对于交易确认或需要确认的内容非常有用。

成为“电脑控制”的目标应用

您无需进行任何其他更改,即可通过计算机控制框架将目标应用与助理任务自动化功能集成。只要用户已授予权限,助理应用就会通过分析目标应用的界面截图来确定导航方式。目标应用应遵循现有的最佳实践,例如自适应设计生命周期管理

AI 助理可以选择限制其自动化的目标应用集。

关于创建 AI 助理应用

OEM 预加载的 AI 助理应用可以与电脑控制功能集成。集成将遵循“电脑控制功能的工作原理”部分中记录的流程。