Android Studio 的學習歷程

Android Studio 的「路徑」功能運用 AI 的視覺和推理能力，根據自然語言指令導覽及測試應用程式。系統會將您的一組指令 (稱為「歷程」) 轉換為 AI 在應用程式中執行的動作。此外，您也可以編寫及說明更複雜的判斷結果，AI 會根據裝置上顯示的內容進行評估。

Android Studio 的歷程功能。
Android Studio 的歷程功能。

此外，由於 Gemini 會推斷要執行哪些動作才能達成目標，因此即使應用程式的版面配置或行為有細微變化，路徑也不容易受到影響，在不同版本的應用程式和不同裝置設定上執行測試時，發生不穩定測試的情況也會減少。

您可以直接在 Android Studio 或指令列中，針對任何本機或遠端 Android 裝置編寫及執行歷程。IDE 提供全新的編輯器體驗，可製作路徑和複合式搜尋結果，協助您更清楚瞭解 Gemini 的推論和路徑執行方式。

撰寫歷程

Android Studio 提供檔案範本和全新編輯器體驗，讓您更輕鬆地建立及編輯歷程。瀏覽歷程是使用 XML 語法編寫，可整理瀏覽歷程說明和步驟。

Android Studio 中的歷程編輯器，顯示含有歷程步驟的 XML 檔案。

如要建立並開始編輯歷程，請按照下列步驟操作：

  1. 在 Android Studio 的「Project」面板中，對要撰寫歷程的應用程式模組按一下滑鼠右鍵。
  2. 依序選取「New」>「Test」>「Journey File」。

  3. 在隨即顯示的對話方塊中，輸入歷程的名稱和說明。

    您在 Android Studio 中用來建立歷程檔案的對話方塊。
    Android Studio 中的對話方塊，用於建立歷程檔案。

  4. 按一下「Finish」。Android Studio 會以您選擇的名稱，為流程建立 XML 檔案。您可以透過「Code」檢視畫面直接編輯 XML，也可以使用「Design」檢視畫面，享受簡化的編輯體驗。

  5. 在「設計」檢視畫面中查看歷程時，請使用文字欄位說明歷程的每個步驟。每個步驟都可以包含您希望 Gemini 執行的描述性動作，或是您希望 Gemini 評估的判斷結果。

  6. 在鍵盤上按下 Enter 鍵，即可在同一趟旅程中開始新步驟。您可以視需要針對要定義的每個歷程步驟重複這個程序。

撰寫歷程的訣竅

雖然 AI 能夠理解以支援語言撰寫的大部分步驟，但請參考下列撰寫歷程的訣竅，以獲得更準確的預期結果：

  • 假設應用程式已在前景執行：執行「旅程」會自動啟動應用程式。旅程步驟應在應用程式完全啟動後開始。也就是說，您不需要將「啟動應用程式」列為步驟。
  • 使用明確的語言：精確的語言可減少誤解，並提高可靠性。
而不是： 執行此動作
「選取『關閉』按鈕」 「輕觸『關閉』」或直接說「關閉」
「Type 'celery'」 「在主畫面頂端的搜尋列中輸入『芹菜』」
「Swipe to dismiss」(滑動即可關閉) 「向左滑動即可關閉，卡片隨即會消失」
  • 在步驟中加入成功條件：這有助於 Gemini 瞭解您的意圖，並明確指出何時完成動作，以及何時可以開始下一個動作。
而不是： 執行此動作
「選取傳送按鈕」 輕觸「提交」按鈕傳送電子郵件。這樣應該會關閉電子郵件，並返回收件匣。」
「Go to the shopping cart」(前往購物車) 「輕觸購物車圖示，系統會將你帶往購物車頁面。確認其中包含零個項目」
「按一下第一個影片」 「按一下第一個影片，等待影片完全載入」
  • 修正歷程：如果歷程未如預期執行，您可以查看結果，並檢查「採取的動作」和相應的「原因」，瞭解 Gemini 可能未如您預期執行步驟的原因。請運用這項資訊，進一步釐清指令。
  • 將流程細分為更具體的步驟：雖然 AI 可以解讀多個動作步驟，但有時更精細的離散步驟可能會提高流程的準確度和可重現性。
    • 「Error: Could not successfully complete the action in max allowed attempt」(錯誤：無法在允許的最大嘗試次數內成功完成動作)： 如果遇到這項錯誤，請嘗試將失敗的步驟分成兩個或多個較小的步驟。這是因為如果 AI 在嘗試與應用程式互動的次數達到上限後，仍無法完成動作，就會發生這個錯誤。

支援及不支援的功能

以下是撰寫歷程時，支援和尚未全面支援的功能總覽。以下清單僅列出部分範例。

在歷程中支援下列動作：

  • 輕觸 UI 元素。
  • 輸入：在文字欄位中輸入文字。
  • 滑動/捲動特定方向，即可瀏覽使用者介面。

下列功能目前尚未完全支援，或可能無法穩定運作：

  • 多指手勢 (例如撥動縮放) - 需要同時在螢幕上兩點或多點觸控的互動，例如撥動縮放或雙指滑動。
  • 長按：按住手指的時間長度超過標準輕觸。
  • 輕觸兩下：快速連續輕觸螢幕上同一位置兩次。
  • 螢幕旋轉/折疊：處理裝置方向的變化 (例如在直向和橫向之間切換)，或折疊式裝置的實體狀態 (例如開啟或關閉)。
  • 記憶：保留並回想先前互動或步驟中的特定資訊、脈絡或使用者輸入內容。
  • 計數：準確追蹤數量、頻率或進度。
  • 條件陳述式 - 根據是否符合其他指定條件來執行動作。

我們會持續改善功能和服務。建議稍後再查看本頁面，瞭解其他功能。如要協助我們改善「路徑」，請提供意見回饋。

執行旅程

您可以在任何可用的本機或遠端裝置上執行歷程，與任何其他設備測試類似，Android Studio 會產生豐富的結果，協助您瞭解歷程的執行情況。

如要測試歷程，請按照下列步驟操作：

  1. 從主要工具列選取目標裝置，就像執行插樁測試一樣。
  2. 前往要測試的歷程 XML 檔案，並在編輯器中開啟。
  3. 在編輯器中，執行下列任一操作：
    1. 如果是在「設計」檢視畫面中，請按一下「執行歷程」。
    2. 如果您位於「程式碼」檢視畫面，請按一下 XML 中定義路徑名稱旁邊的溝槽中的「執行『測試』」。

Android Studio 會為您建立「Journeys Test」設定，並在目標裝置上執行。執行期間，Android Studio 會建構及部署應用程式，並連線至 Gemini，判斷在每個步驟中要採取哪些動作。

Android Studio 中的歷程測試結果面板，顯示步驟詳細資料和 Gemini 的推理過程。
Android Studio 中的歷程測試結果面板，顯示步驟詳細資料和 Gemini 的推理過程。

針對任何預先安裝的應用程式執行歷程

您可以在測試裝置上執行預先安裝的應用程式。如果您想測試應用程式的正式版，或是尚未將應用程式更新至 Android Gradle 外掛程式 9.0.0 以上版本，這項功能就非常實用。

  1. 開啟或建立新專案，並更新至 Android Gradle 外掛程式 9.0.0 以上版本。
  2. 撰寫旅程。
  3. 編輯歷程的執行設定，並新增下列環境變數。嘗試從 Android Studio 執行歷程時，系統會自動建立執行設定。
    • JOURNEYS_CUSTOM_APP_ID 設定目標應用程式的套件 ID。
  4. 執行您編輯的歷程。Android Studio 應會在您指定的目標應用程式上執行流程步驟。

透過指令列執行歷程

您也可以透過指令列，以 Gradle 工作的形式執行 Journey。

設定

如要透過指令列使用 Journeys，您必須先向 Google Cloud 進行驗證。

注意：這些步驟是以 gcloud CLI 提供使用者憑證，可能不適用於所有開發環境。如要進一步瞭解符合您需求的驗證程序，請參閱「應用程式預設憑證的運作方式」。

如要安裝 Google Cloud CLI，請按照「安裝 gcloud CLI」中的步驟操作。

使用者憑證

您可以使用下列終端機指令，以手動方式授權：

gcloud auth application-default login

服務帳戶憑證

如果尚未建立專案的服務帳戶憑證，請按照指南建立服務帳戶憑證。

  • 請確認您已在建立服務帳戶金鑰的專案中，啟用 IAM Service Account Credentials API。
  • 請確認管理員使用者和服務帳戶已獲得 Service Account Token Creator 權限。

如要進行驗證，請執行下列指令：

gcloud auth application-default login --impersonate-service-account SERVICE_ACCOUNT_EMAIL

以 Gradle 工作形式執行

直接在指令列執行 Gradle 工作，即可執行 Journeys。執行工作後，記錄檔中會顯示測試結果，並產生 HTML 和 XML 測試結果檔案。

執行所有歷程 您可以使用下列指令，執行測試套件中的所有歷程。

./gradlew :app:testJourneysTestDefaultDebugTestSuite

執行單一歷程 使用 JOURNEYS_FILTER 指定要執行的歷程名稱，如下所示：

JOURNEYS_FILTER=your_journey_name.journey.xml ./gradlew :app:testJourneysTestDefaultDebugTestSuite

如要執行子目錄中的所有歷程 請將 JOURNEYS_FILTER 設為子目錄名稱。舉例來說，下列指令會執行測試套件根目錄中 home 子目錄內的所有 Journeys。

JOURNEYS_FILTER=home ./gradlew :app:testJourneysTestDefaultDebugTestSuite

查看結果

Android Studio 完成測試歷程後，系統會自動顯示測試結果面板，並在其中顯示結果。

Android Studio 中的歷程測試結果面板，顯示步驟詳細資料和 Gemini 的推理過程。
Android Studio 中的歷程測試結果面板，顯示步驟詳細資料和 Gemini 的推理過程。

與您在 Android Studio 中執行的其他插樁測試相比，旅程的結果顯示方式有些不同。

  • 「測試」面板會將歷程劃分為個別步驟。點選各步驟即可進一步瞭解 Gemini 的執行方式。
  • 「結果」面板會顯示豐富的資訊，協助您瞭解 Gemini 如何理解和推論您的歷程，以及如何執行。
    • 步驟中的每個動作都會顯示傳送給 Gemini 的螢幕截圖，方便您查看。
    • 每張螢幕截圖旁邊都會說明 Gemini 採取的動作，以及採取該動作的原因。
    • 步驟中的每個動作都會編號。

已知問題

  • 測試歷程時，系統預設會授予應用程式的所有權限。
  • 在搭載 Android 15 (API 級別 35) 的裝置上測試歷程時，裝置可能會顯示「已封鎖不安全應用程式」警告，指出「AndroidX Crawler」不安全。如要略過這項檢查，請按一下「仍要安裝」。或者，您也可以設定裝置端開發人員選項，然後停用「透過 USB 驗證應用程式」選項。