Journeys cho Android Studio tận dụng khả năng thị giác và suy luận của AI để điều hướng và kiểm thử ứng dụng dựa trên hướng dẫn bằng ngôn ngữ tự nhiên của bạn. Tập hợp các chỉ dẫn của bạn (gọi là hành trình) sẽ được chuyển đổi thành các hành động mà AI thực hiện trên ứng dụng của bạn. Ngoài ra, bạn có thể viết và mô tả các câu khẳng định phức tạp hơn. AI sẽ đánh giá các câu này dựa trên những gì AI thấy trên thiết bị.
Và vì Gemini suy luận về những hành động cần thực hiện để đáp ứng các mục tiêu, nên các hành trình sẽ có khả năng thích ứng tốt hơn với những thay đổi nhỏ về bố cục hoặc hành vi của ứng dụng, dẫn đến ít thử nghiệm không ổn định hơn khi chạy trên các phiên bản ứng dụng và cấu hình thiết bị khác nhau.
Bạn có thể viết và chạy các hành trình ngay trong Android Studio hoặc từ dòng lệnh trên mọi thiết bị chạy Android tại chỗ hoặc từ xa. IDE cung cấp một trải nghiệm trình chỉnh sửa mới để tạo hành trình cũng như kết quả nhiều định dạng giúp bạn hiểu rõ hơn về quá trình lập luận và thực hiện hành trình của Gemini.
Viết nhật ký
Android Studio cung cấp một mẫu tệp và trải nghiệm trình chỉnh sửa mới giúp bạn dễ dàng tạo và chỉnh sửa hành trình. Hành trình được viết bằng cú pháp XML để sắp xếp nội dung mô tả và các bước của hành trình.
Để tạo và bắt đầu chỉnh sửa một hành trình, hãy làm như sau:
- Trong bảng điều khiển Project (Dự án) trong Android Studio, hãy nhấp chuột phải vào mô-đun ứng dụng mà bạn muốn viết hành trình.
- Chọn New > Test > Journey File (Mới > Thử nghiệm > Tệp hành trình).
Trong hộp thoại xuất hiện, hãy cung cấp tên và nội dung mô tả cho hành trình của bạn.
Một hộp thoại trong Android Studio mà bạn dùng để tạo tệp hành trình. Nhấp vào Hoàn tất. Android Studio sẽ tạo một tệp XML cho hành trình của bạn bằng tên mà bạn đã chọn. Bạn có thể sử dụng chế độ xem Code (Mã) để chỉnh sửa trực tiếp XML hoặc chế độ xem Design (Thiết kế) để có trải nghiệm chỉnh sửa đơn giản.
Khi xem hành trình của bạn ở chế độ xem Design (Thiết kế), hãy dùng trường văn bản để mô tả từng bước trong hành trình. Mỗi bước có thể bao gồm các hành động mô tả mà bạn muốn Gemini thực hiện hoặc các khẳng định mà bạn muốn Gemini đánh giá.
Nhấn phím Enter trên bàn phím để bắt đầu một bước mới trong cùng một hành trình. Bạn có thể lặp lại bước này khi cần cho từng bước trong hành trình mà bạn muốn xác định.
Mẹo viết hành trình
Mặc dù AI có thể hiểu hầu hết các bước được viết bằng những ngôn ngữ được hỗ trợ, nhưng việc làm theo những mẹo này khi viết hành trình có thể giúp bạn nhận được kết quả chính xác và như mong đợi hơn:
- Giả sử ứng dụng của bạn đã ở nền trước: Việc chạy một Hành trình sẽ tự động khởi chạy ứng dụng của bạn. Các bước của hành trình sẽ bắt đầu sau khi ứng dụng đã khởi chạy hoàn toàn. Tức là bạn không cần thêm "khởi chạy ứng dụng" làm một bước.
- Sử dụng ngôn từ rõ ràng: Việc sử dụng ngôn từ chính xác sẽ giảm thiểu tình trạng hiểu sai và cải thiện độ tin cậy.
| Thay vì | Nên |
|---|---|
| "Chọn nút đóng" | "Nhấn vào "Loại bỏ"" hoặc chỉ cần nói "Loại bỏ" |
| "Nhập "cần tây"" | "Nhập "cần tây" vào thanh tìm kiếm ở đầu màn hình chính" |
| "Vuốt để đóng" | "Vuốt sang trái để đóng, sau đó thẻ sẽ không còn xuất hiện nữa" |
- Đưa tiêu chí thành công vào bước: Điều này giúp Gemini hiểu rõ hơn ý định của bạn và làm rõ thời điểm hoàn tất hành động cũng như thời điểm có thể bắt đầu hành động tiếp theo.
| Thay vì | Nên |
|---|---|
| "Chọn nút gửi" | "Gửi email bằng cách nhấn vào nút gửi. Thao tác này sẽ đóng email và đưa bạn quay lại hộp thư đến." |
| "Chuyển đến giỏ hàng" | "Nhấn vào biểu tượng giỏ hàng để chuyển đến trang giỏ hàng. Xác minh rằng nó chứa 0 mục" |
| "Nhấp vào video đầu tiên" | "Nhấp vào video đầu tiên và đợi video tải xong" |
- Tinh chỉnh hành trình: Nếu hành trình không thực hiện như mong đợi, bạn có thể xem kết quả và kiểm tra "Hành động đã thực hiện" cũng như "Lý do" tương ứng để hiểu tại sao Gemini có thể không thực hiện các bước như bạn mong đợi. Hãy sử dụng thông tin này để hướng dẫn rõ ràng hơn.
- Chia hành trình thành các bước cụ thể hơn: Mặc dù AI có thể diễn giải các bước có nhiều hành động, nhưng đôi khi các bước rời rạc chi tiết hơn có thể cải thiện độ chính xác và khả năng tái tạo của Hành trình.
- "Lỗi: Không thể hoàn tất hành động trong số lần thử tối đa cho phép": Nếu bạn gặp lỗi này, hãy thử chia các bước không thành công thành hai hoặc nhiều bước nhỏ hơn. Đó là do lỗi này xảy ra nếu AI không thể hoàn tất hành động sau khi thử tương tác với ứng dụng của bạn tối đa số lần.
Các chức năng được hỗ trợ và không được hỗ trợ
Sau đây là thông tin tổng quan về các chức năng được hỗ trợ và chưa được hỗ trợ đầy đủ khi viết Hành trình. Các danh sách sau đây chưa đầy đủ.
Những hành động sau đây được hỗ trợ trong hành trình:
- Nhấn vào các phần tử trên giao diện người dùng.
- Nhập để nhập văn bản vào các trường văn bản.
- Vuốt/Di chuyển theo một hướng nhất định để di chuyển trên giao diện người dùng.
Hiện tại, chúng tôi chưa hỗ trợ đầy đủ các chức năng sau hoặc các chức năng này có thể hoạt động không nhất quán:
- Cử chỉ nhiều ngón tay (ví dụ: chụm để thu phóng) – Tương tác yêu cầu có từ 2 điểm tiếp xúc trở lên trên màn hình cùng một lúc, chẳng hạn như chụm để phóng to hoặc thu nhỏ, hoặc vuốt bằng 2 ngón tay.
- Nhấn và giữ – Nhấn và giữ ngón tay trong khoảng thời gian dài hơn thao tác nhấn tiêu chuẩn.
- Nhấn đúp – Nhấn nhanh vào cùng một vị trí trên màn hình hai lần liên tiếp.
- Xoay/gập màn hình – Xử lý các thay đổi về hướng thiết bị (ví dụ: giữa hướng dọc và hướng ngang) hoặc trạng thái thực của thiết bị có thể gập lại (ví dụ: mở hoặc đóng).
- Bộ nhớ – Lưu giữ và nhớ lại thông tin, bối cảnh hoặc dữ liệu đầu vào cụ thể của người dùng trong các bước hoặc lượt tương tác trước đó.
- Đếm – Theo dõi chính xác số lượng, tần suất hoặc tiến trình.
- Câu lệnh có điều kiện – Thực thi các hành động dựa trên việc các điều kiện được chỉ định khác có được đáp ứng hay không.
Các tính năng và chức năng không ngừng được cải thiện. Bạn nên kiểm tra lại trang này sau để tìm hiểu về các tính năng và chức năng bổ sung. Để giúp chúng tôi cải thiện tính năng Chuyến đi, hãy chia sẻ ý kiến phản hồi của bạn.
Chạy hành trình
Bạn có thể chạy hành trình trên mọi thiết bị cục bộ hoặc từ xa hiện có, tương tự như mọi kiểm thử đo lường khác và Android Studio sẽ tạo ra kết quả chi tiết giúp bạn hiểu được quá trình thực thi hành trình.
Để kiểm thử một hành trình, hãy làm như sau:
- Chọn một thiết bị mục tiêu trên thanh công cụ chính, giống như khi bạn chạy một kiểm thử đo lường.
- Chuyển đến tệp XML hành trình mà bạn muốn kiểm thử rồi mở tệp đó trong trình chỉnh sửa.
- Trong trình chỉnh sửa, hãy thực hiện một trong những thao tác sau:
- Nếu bạn đang ở chế độ xem Thiết kế, hãy nhấp vào
Chạy hành trình. - Nếu bạn đang ở chế độ xem Code (Mã), hãy nhấp vào
Run 'test' (Chạy "thử nghiệm") trong rãnh bên cạnh vị trí tên của hành trình được xác định trong XML.
- Nếu bạn đang ở chế độ xem Thiết kế, hãy nhấp vào
Android Studio sẽ tạo cấu hình Journeys Test (Kiểm thử hành trình) cho bạn và chạy cấu hình đó trên thiết bị mục tiêu. Trong quá trình thực thi, Android Studio sẽ tạo và triển khai ứng dụng của bạn, đồng thời kết nối với Gemini để xác định những hành động cần thực hiện cho từng bước trong hành trình của bạn.
Chạy hành trình đối với mọi ứng dụng được cài đặt sẵn
Bạn có thể chạy một hành trình trên một ứng dụng được cài đặt sẵn trên thiết bị kiểm thử. Điều này hữu ích nếu bạn muốn kiểm thử phiên bản phát hành công khai của ứng dụng hoặc nếu bạn chưa cập nhật ứng dụng lên Trình bổ trợ Android cho Gradle 9.0.0 trở lên.
- Mở hoặc tạo một dự án mới được cập nhật lên Trình bổ trợ Android cho Gradle 9.0.0 trở lên.
- Viết một hành trình.
- Chỉnh sửa cấu hình chạy cho hành trình và thêm các biến môi trường sau. Cấu hình chạy sẽ tự động được tạo khi bạn cố gắng chạy một hành trình từ Android Studio.
JOURNEYS_CUSTOM_APP_IDđặt mã nhận dạng gói của ứng dụng mục tiêu.
- Chạy hành trình mà bạn đã chỉnh sửa. Android Studio sẽ thực hiện các bước của hành trình trên ứng dụng mục tiêu mà bạn đã chỉ định.
Chạy một hành trình từ dòng lệnh
Bạn cũng có thể chạy một Hành trình từ dòng lệnh dưới dạng một tác vụ Gradle.
Thiết lập
Bạn sẽ cần xác thực với Google Cloud để sử dụng Journeys từ dòng lệnh.
Lưu ý: Các bước này sử dụng Giao diện dòng lệnh (CLI) của gcloud để cung cấp thông tin đăng nhập của người dùng. Thông tin đăng nhập này có thể không sử dụng được trong một số môi trường phát triển. Để biết thêm thông tin về quy trình xác thực cần sử dụng cho nhu cầu của bạn, hãy xem phần Cách hoạt động của Thông tin xác thực mặc định của ứng dụng.
Để cài đặt Google Cloud CLI, hãy làm theo các bước trong phần Cài đặt gcloud CLI.
Đối với thông tin đăng nhập của người dùng
Bạn có thể uỷ quyền theo cách thủ công bằng cách dùng lệnh sau trong cửa sổ dòng lệnh:
gcloud auth application-default login
Đối với thông tin đăng nhập vào tài khoản dịch vụ
Nếu bạn chưa thực hiện, hãy làm theo hướng dẫn để tạo thông tin xác thực tài khoản dịch vụ cho dự án của bạn.
- Đảm bảo bạn đã bật IAM Service Account Credentials API cho dự án mà bạn đã tạo khoá tài khoản dịch vụ.
- Đảm bảo rằng người dùng quản trị và tài khoản dịch vụ của bạn đã được cấp quyền
Service Account Token Creator.
Để xác thực, hãy chạy lệnh sau:
gcloud auth application-default login --impersonate-service-account SERVICE_ACCOUNT_EMAIL
Chạy dưới dạng một tác vụ Gradle
Chạy Journeys bằng cách thực thi trực tiếp tác vụ Gradle trên dòng lệnh. Sau khi bạn chạy tác vụ, kết quả kiểm thử sẽ xuất hiện trong nhật ký và các tệp kết quả kiểm thử HTML và XML sẽ được tạo.
Để chạy tất cả các Hành trình Bạn có thể chạy tất cả các Hành trình trong bộ kiểm thử bằng lệnh sau.
./gradlew :app:testJourneysTestDefaultDebugTestSuite
Để chạy một hành trình duy nhất
Sử dụng JOURNEYS_FILTER để chỉ định tên của hành trình bạn muốn chạy, như sau:
JOURNEYS_FILTER=your_journey_name.journey.xml ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Để chạy tất cả các hành trình trong một thư mục con
Đặt JOURNEYS_FILTER thành tên thư mục con. Ví dụ: lệnh sau đây sẽ chạy tất cả các Hành trình trong thư mục con home trong thư mục gốc của bộ kiểm thử.
JOURNEYS_FILTER=home ./gradlew :app:testJourneysTestDefaultDebugTestSuite
Xem kết quả
Khi Android Studio hoàn tất việc kiểm thử hành trình của bạn, bảng kết quả kiểm thử sẽ tự động xuất hiện để cho bạn thấy kết quả.
So với các kiểm thử được đo lường khác mà bạn có thể chạy trong Android Studio, có một số điểm khác biệt về cách hiển thị kết quả cho hành trình.
- Bảng điều khiển Kiểm thử chia hành trình thành các bước riêng biệt. Bạn có thể nhấp vào từng bước để tìm hiểu thêm thông tin về cách Gemini thực hiện bước đó.
- Bảng Kết quả cho thấy thông tin chi tiết để giúp bạn hiểu cách Gemini hiểu và suy luận về hành trình của bạn, cũng như cách hành trình đó được thực hiện.
- Ảnh chụp màn hình được gửi cho Gemini sẽ xuất hiện để hỗ trợ trực quan cho từng thao tác trong bước.
- Mỗi hành động được thực hiện và lý do Gemini thực hiện hành động đó được mô tả bên cạnh mỗi ảnh chụp màn hình.
- Mỗi thao tác trong bước đều được đánh số.
Vấn đề đã biết
- Khi kiểm thử một hành trình, theo mặc định, tất cả các quyền cho ứng dụng của bạn đều được cấp.
- Khi kiểm thử một hành trình trên thiết bị chạy Android 15 (API cấp 35), bạn có thể thấy một cảnh báo trên thiết bị có nội dung "Đã chặn ứng dụng không an toàn" đối với "Trình thu thập dữ liệu AndroidX". Bạn có thể nhấp vào Cài đặt bất kể cảnh báo để bỏ qua bước kiểm tra này. Ngoài ra, bạn có thể Định cấu hình các tuỳ chọn cho nhà phát triển trên thiết bị và tắt tuỳ chọn Xác minh ứng dụng qua USB.