Android 電腦控制架構可讓 OEM 預先載入的 AI 助理,在裝置上安裝的特定應用程式 (「目標應用程式」) 中執行工作自動化作業。本指南將概略說明電腦控制架構,以及目標應用程式和 AI 助理應用程式的技術考量。
Android 電腦控制功能總覽
Android 的電腦控制功能可讓 OEM 預先載入的 Google 助理應用程式,在受控環境中啟動並與本機安裝的目標應用程式互動。
當電腦控制架構首次嘗試與目標應用程式互動時,系統會自動顯示權限對話方塊。取得權限後,Google 助理應用程式即可在目標應用程式上執行多步驟工作,讓 Google 助理應用程式使用目標應用程式完成使用者的要求。
應用實例
如要在裝置上安裝的一組目標應用程式中執行工作自動化,原始設備製造商 (OEM) 預先載入的助理可以反覆疊代擷取這些應用程式的螢幕截圖、做出智慧決策來推論動作,並套用動作來控制應用程式的 UI。與目標應用程式的互動會根據現有的店面資料和背景資訊進行。
助理應用程式的設計目的,可能是代表使用者完成多步驟工作。使用者可能以以下方式使用這類應用程式:
- 點餐:「在最愛的咖啡廳點一杯小杯茶,然後自取。」
- 共乘:「預約前往機場的共乘服務。」
- 生鮮雜貨配送:「重新訂購我上週買的生鮮雜貨。」
電腦控制功能的運作方式
電腦控制架構可讓原始設備製造商 (OEM) 預先載入的助理在安全的背景虛擬螢幕中啟動目標應用程式並操作。
一般流程如下:
- 要求工作階段:助理應用程式必須具備 privileged
ACCESS_COMPUTER_CONTROL權限。應用程式可以要求電腦控制工作階段,依序執行最多六個目標應用程式。系統一次只能啟用一個工作階段。 - 取得使用者授權:當 Google 助理應用程式要求工作階段時,架構會隱含地觸發系統對話方塊。這個對話方塊會要求使用者授予權限,允許助理自動操作目標應用程式。
- 自動執行:如果使用者授予權限,系統會在虛擬裝置上執行目標應用程式,類似於投放。助理應用程式會使用工作階段啟動目標應用程式、擷取螢幕內容,並模擬使用者輸入內容事件,包括輕觸、滑動和輸入文字,以完成使用者的要求。
- 移交控制權:助理可以將控制權移交給使用者,讓使用者手動介入或手動要求接管。舉例來說,這項功能適用於交易確認或需要確認的內容。
成為電腦控制項的目標應用程式
如要透過電腦控制架構將目標應用程式與助理工作自動化功能整合,不需要進行任何額外變更。只要使用者已授予權限,小幫手應用程式就會分析目標應用程式的 UI 螢幕截圖,判斷導覽方式。目標應用程式應遵循現有的最佳做法,例如自適應設計和生命週期管理。
AI 助理可能會選擇限制自動執行的目標應用程式。
關於建立 AI 助理應用程式
OEM 預先載入的 AI 助理應用程式可以與電腦控制功能整合。整合作業會遵循「電腦控制功能的運作方式」一節中記錄的流程。