Android Studio 的歷程功能

Android Studio 的 Journeys 功能可讓您使用自然語言描述端對端使用者流程,並直接在連結的裝置或模擬器上,透過 AI 代理執行這些流程。這組指令稱為「歷程」,會轉換為代理在應用程式中執行的動作。此外,您也可以編寫及描述更複雜的斷言,讓代理根據在裝置上看到的內容進行評估。

Android Studio 中已完成的歷程,其中歷程在編輯器中開啟、應用程式在模擬器中開啟,以及代理程式的結果在代理程式視窗中顯示。
Android Studio 的歷程功能。

代理會推論要執行哪些動作來達成目標,因此歷程更能彈性因應應用程式版面配置或行為的細微變化,在針對不同版本的應用程式和裝置設定執行測試時,不穩定測試會減少。

您可以直接在 Android Studio 中編寫及執行歷程,也可以使用任何代理程式,透過指令列執行。執行歷程時,代理會逐步執行流程、驗證預期結果,並產生附有螢幕截圖的報表,顯示每個步驟是否通過。

撰寫旅程

歷程是以 XML 編寫,用於整理歷程說明和步驟。歷程檔案使用 .journey.xml 副檔名,並儲存在應用程式模組的 src/journeysTest/ 目錄中。Android Studio 提供視覺化編輯器,可讓您更輕鬆地建立及編輯歷程。您不需要對建構檔案進行任何變更,即可使用歷程。

如要建立歷程,請執行下列任一操作:

  • 在 Android Studio 的「Project」面板中,在要編寫歷程的應用程式模組上按一下滑鼠右鍵,然後依序選取「New」>「Journey File」。您也可以在主選單中依序選取「File」>「New」>「Journey File」。
  • 在「Agent」視窗中,要求代理為應用程式中的使用者流程建立歷程。例如:「建立歷程,搜尋產品、將產品加入購物車,並確認購物車顯示一項商品。」

如要編輯旅程,請開啟旅程檔案。您可以使用「Code」檢視畫面直接編輯 XML,使用「Design」檢視畫面簡化編輯體驗,或使用「Split」檢視畫面同時查看兩者。您也可以要求代理更新現有的歷程檔案。

在「設計」檢視畫面中,每一列代表歷程中的一個步驟。輸入您希望代理執行的動作,或希望代理檢查的斷言,然後按下 Enter 鍵新增下一個步驟。

Android Studio 的歷程編輯器,顯示歷程的標題、說明和步驟。
Android Studio 中的歷程編輯器。

撰寫歷程的訣竅

雖然代理能理解以支援語言編寫的大多數步驟,但按照下列提示編寫歷程,可獲得更準確且符合預期的結果:

  • 假設應用程式已在前景執行:執行歷程會自動啟動應用程式。歷程步驟應在應用程式完全啟動後開始。也就是說,您不需要將「啟動應用程式」納入步驟。
  • 使用明確的語言:精確的語言可盡量減少誤解,並提高可靠性。
而非 建議做法
「選取關閉按鈕」 「輕觸『關閉』」或「關閉」
「輸入『celery』」 「在主畫面頂端的搜尋列中輸入『芹菜』」
「滑動即可關閉」 「向左滑動即可關閉,資訊卡應該不會再顯示」
  • 在步驟中加入成功條件:這有助於代理更清楚瞭解您的意圖,並明確指出何時完成動作,以及何時可以開始下一個動作。
而非 建議做法
「選取傳送按鈕」 「輕觸『提交』按鈕即可傳送電子郵件。這樣應該會關閉電子郵件,並返回收件匣。」
「前往購物車」 「輕觸購物車圖示,前往購物車頁面。確認其中不含任何項目」
「點選第一部影片」 「點選第一部影片,等待影片完全載入」
  • 調整歷程:如果歷程未按照預期執行,請查看結果,瞭解代理未按照預期執行步驟的原因。請使用這項資訊,進一步釐清指示。
  • 將歷程細分為更具體的步驟:雖然代理可以解讀多動作步驟,但有時更精細的離散步驟,可以提高歷程的準確度和重現性。

支援的功能和限制

以下概略說明編寫歷程時支援的功能,以及不支援或可能不一致的功能。以下清單僅列出部分範例。

歷程支援下列動作:

  • 輕觸 UI 元素。
  • 長按 UI 元素。
  • 輸入:在文字欄位中輸入文字。
  • 朝特定方向滑動/捲動,即可瀏覽使用者介面。

目前不支援下列功能:

  • 多指手勢 (例如雙指撥動縮放):需要同時在螢幕上使用兩個或多個接觸點的互動,例如雙指撥動縮放,或雙指滑動。

下列功能可能不穩定:

  • 計數:準確追蹤數量、頻率或進度。

各項功能會不斷改良。建議你稍後再查看這個頁面,瞭解其他功能。歡迎提供意見,協助我們改善「旅程」功能。

執行歷程

您可以在「Agent」視窗中,使用 AI 代理執行歷程。執行歷程時,代理程式會建構應用程式並部署至裝置、執行歷程的每個步驟,並回報歷程是否通過。

編輯器中開啟的歷程,代理在「Agent」視窗中執行,應用程式在模擬器中執行。
在代理視窗中執行的歷程。

如要執行歷程,請執行下列其中一項操作:

  • 開啟歷程檔案,然後按一下編輯器工具列中的「Run」。
  • 在「Code」或「Split」檢視畫面中,按一下 <journey> 標記旁裝訂邊中的「Run」。
  • 在「Project」面板中,在歷程檔案上按一下滑鼠右鍵,然後選取「Run Journey with Agent」。如要執行多個歷程,請選取多個歷程檔案或含有歷程檔案的資料夾,然後選取「Run Journeys with Agent」。
  • 在「代理」視窗中,要求代理執行旅程。

Android Studio 會在「Agent」視窗中,使用您上次選取的代理啟動新對話,包括您在「Settings」>「Tools」>「AI」>「Agents」中連結的其他代理。

代理會在主要工具列中選取的裝置上執行歷程。如果沒有執行中的裝置,代理程式可以為您啟動模擬器。如果執行多個歷程或選取多部裝置,代理程式會在執行完成後顯示結果摘要。

透過指令列執行歷程

如要使用任何代理程式從指令列執行 Journeys,請使用 Android CLI。

查看結果

代理完成歷程後,會在「Agent」(代理) 視窗中回報歷程是否通過,包括任何失敗的步驟。此外,也會提供旅程報表的連結。這份報表包含下列資訊:

  • 旅程的整體結果。
  • 每個步驟是否通過。
  • 代理程式在裝置上執行的指令。
  • 代理對每個步驟的註解。
  • 代理擷取的螢幕截圖連結。
歷程報表,在「代理」視窗的代理摘要旁,顯示每個步驟的結果、指令、螢幕截圖和註解。
「Agent」視窗中的歷程報表,內含代理摘要。

以 AGP 測試套件的形式執行歷程

在 Android Studio Rabbit 2 以下版本中,Journeys 是 Studio Labs 的功能,可將歷程做為 Android Gradle 外掛程式 (AGP) 測試套件執行。如要使用,請按照下列步驟操作:

  1. 前往設定選單中的「Studio Labs」,然後啟用「歷程」。
  2. 確認專案使用 AGP 9.0.0 以上版本。
  3. 在「Project」面板中,在應用程式模組上按一下滑鼠右鍵,然後依序選取「New」>「Journey Test」。如果是首次在專案中新增歷程,Android Studio 也會為專案新增 AGP 測試套件支援。
  4. 開啟歷程檔案,然後在「Design」檢視畫面中按一下「Run Journey」。Android Studio 會建立「Journeys Test」測試執行設定,在所選裝置上執行,並在測試結果面板中顯示結果。

測試套件會針對建立歷程時有效的建構變化版本執行。如果切換至其他建構變化版本,請將其新增至模組層級 build.gradle.kts 檔案中 testSuites 區塊的 targetVariants 屬性。