Android Studio 学习路线

借助 Android Studio 中的 Journeys,您可以使用自然语言描述端到端用户体验流程,并直接在已连接的设备或模拟器上通过 AI 智能体运行这些流程。您的一组指令(称为“历程”)会转换为智能体在应用中执行的操作。此外,您还可以编写和描述更复杂的断言,智能体会根据其在设备上看到的内容来评估这些断言。

Android Studio 中已完成的历程,其中历程在编辑器中打开,应用在模拟器上运行,代理的结果显示在“Agent”窗口中。
Android Studio 历程。

由于代理会推理要执行哪些操作来满足目标,因此历程对应用布局或行为的细微变化更具弹性,从而在针对应用的不同版本和不同设备配置运行时,减少不可靠的测试。

您可以直接在 Android Studio 中编写和运行历程,也可以使用任何代理从命令行编写和运行历程。运行历程时,代理会逐步执行流程,验证预期结果,并生成包含屏幕截图的报告,显示每个步骤是通过还是失败。

编写历程

历程使用 XML 编写,用于整理历程说明和步骤。历程文件使用 .journey.xml 扩展名,并存储在应用模块的 src/journeysTest/ 目录中。Android Studio 提供了一个可视化编辑器,可让您更轻松地创建和修改历程。您无需对 build 文件进行任何更改即可使用历程。

如需创建历程,请执行以下任一操作:

  • 在 Android Studio 的 Project 面板中,右键点击要为其编写历程的应用模块,然后依次选择 New > Journey File。您也可以从主菜单中依次选择 File > New > Journey File。
  • 在 Agent 窗口中,让代理为应用中的用户体验流程创建历程。例如,“创建一个历程,用于搜索商品、将其添加到购物车,并验证购物车中是否显示了一件商品。”

如需修改历程,请打开历程文件。您可以使用 Code 视图直接修改 XML,使用 Design 视图获得简化的修改体验,或使用 Split 视图同时查看两者。您还可以让智能体更新现有历程文件。

在设计视图中,每一行代表历程中的一个步骤。输入您希望代理执行的操作,或您希望代理检查的断言,然后按 Enter 键添加下一步。

Android Studio 中的历程编辑器,显示了历程的标题、说明和步骤。
Android Studio 中的历程编辑器。

撰写历程的技巧

虽然代理能够理解以支持的语言编写的大多数步骤,但遵循以下历程编写提示可以获得更准确且符合预期的结果:

  • 假设您的应用已在前台运行:运行历程会自动启动您的应用。历程中的步骤应在应用完全启动之后开始。也就是说,您无需将“启动应用”作为步骤。
  • 使用明确的语言:精确的语言可以最大限度地减少误解并提高可靠性。
而不是 建议做法
“选择‘关闭’按钮” “点按‘关闭’”或直接说“关闭”
“输入‘celery’” “在主屏幕顶部的搜索栏中输入‘芹菜’”
“滑动即可关闭” “向左滑动即可关闭,之后卡片应该不会再显示”
  • 将成功标准作为步骤的一部分:这有助于代理更好地理解您的意图,并明确何时操作完成以及何时可以开始下一个操作。
而不是 建议做法
“选择‘发送’按钮” “点按‘提交’按钮即可发送电子邮件。这样应该会关闭电子邮件并返回到收件箱。”
“前往购物车” “点按购物车图标,即可前往购物车页面。验证其中不包含任何内容”
“点击第一个视频” “点击第一个视频,等待其完全加载”
  • 优化历程:如果历程未按预期执行,请查看结果,了解代理可能未按预期执行步骤的原因。使用这些信息可让您的指令更加清晰。
  • 将历程分解为更具体的步骤:虽然智能体可以解读多操作步骤,但有时更精细的离散步骤可以提高历程的准确性和可重现性。

支持的功能和限制

以下简要介绍了编写历程时支持的功能,以及不支持或可能表现不一致的功能。以下列表并未详尽无遗。

历程中支持以下操作:

  • 点按界面元素。
  • 长按界面元素。
  • 输入:在文本字段中输入文本。
  • 向特定方向滑动/滚动,即可浏览界面。

目前不支持以下功能:

  • 多指手势(例如,双指张合缩放) - 需要同时在屏幕上进行两点或多点接触的互动,例如双指张合缩放或双指滑动。

以下功能可能无法稳定运行:

  • 计数 - 准确跟踪数量、频率或进度。

功能和能力在不断改进。我们建议您稍后查看此页面,了解其他功能。如需帮助我们改进 Journeys,请分享您的反馈。

运行历程

您可以在智能体窗口中与 AI 智能体一起运行历程。当您运行历程时,代理会构建应用并将其部署到设备,执行历程的每个步骤,并报告历程是成功还是失败。

在编辑器中打开一个历程,同时代理在“代理”窗口中运行该历程,应用在模拟器上运行。
在智能体窗口中运行的历程。

如需运行历程,请执行以下任一操作:

  • 打开历程文件,然后点击编辑器工具栏中的运行 。
  • 在 Code 或 Split 视图中,点击 <journey> 标记旁边边线中的 Run 图标 。
  • 在 Project(项目)面板中,右键点击历程文件,然后选择 Run Journey with Agent(使用代理运行历程)。如需运行多个历程,请选择多个历程文件或包含历程文件的文件夹,然后选择使用代理运行历程。
  • 在代理窗口中,让代理运行历程。

Android Studio 会在智能体窗口中使用您上次选择的智能体(包括您在设置 > 工具 > AI > 智能体中连接的其他智能体)发起新对话。

代理会在主工具栏中选择的设备上运行历程。 如果没有设备在运行,代理可以为您启动模拟器。如果您运行多个历程或选择多台设备,代理会在运行完成后显示结果摘要。

从命令行运行历程

如需使用任何代理从命令行运行历程,请使用 Android CLI。

查看结果

当代理完成历程后,会在代理窗口中报告历程是成功还是失败,包括任何失败的步骤。它还提供了指向历程报告的链接。该报告包含以下内容:

  • 历程的总体结果。
  • 每个步骤是成功还是失败。
  • 代理在设备上运行的命令。
  • 智能体对每个步骤的注释。
  • 指向代理捕获的屏幕截图的链接。
历程报告,其中显示了每个步骤的结果、命令、屏幕截图和注释,位于“智能体”窗口中智能体摘要的旁边。
行程报告,其中包含“智能体”窗口中的智能体摘要。

将历程作为 AGP 测试套件运行

在 Android Studio Rabbit 2 及更早版本中,历程是一项 Studio Labs 功能,可作为 Android Gradle 插件 (AGP) 测试套件运行。如需使用它,请执行以下操作:

  1. 在设置菜单中前往工作室实验室,然后启用“历程”。
  2. 确保您的项目使用的是 AGP 9.0.0 或更高版本。
  3. 在 Project 面板中,右键点击您的应用模块,然后依次选择 New > Journey Test。如果这是您首次向项目添加历程,Android Studio 还会向项目添加 AGP 测试套件支持。
  4. 打开历程文件,然后在设计视图中点击运行历程。 Android Studio 会创建历程测试测试运行配置,在所选设备上运行该配置,并在测试结果面板中显示结果。

测试套件会针对您创建历程时处于活跃状态的 build 变体运行。如果您切换到其他 build 变体,请将其添加到模块级 build.gradle.kts 文件的 testSuites 代码块中的 targetVariants 属性。