Journeys สำหรับ Android Studio ใช้ประโยชน์จากความสามารถด้านวิสัยทัศน์และการให้เหตุผลของ AI เพื่อไปยังส่วนต่างๆ และทดสอบแอปตามคำสั่งภาษาธรรมชาติของคุณ ชุดคำสั่งของคุณที่เรียกว่าเส้นทางจะได้รับการแปลงเป็นการดำเนินการที่ AI ดำเนินการในแอป นอกจากนี้ คุณยังเขียนและอธิบายการยืนยันที่ซับซ้อนมากขึ้นได้ด้วย ซึ่ง AI จะประเมินตามสิ่งที่เห็นในอุปกรณ์
และเนื่องจาก Gemini จะพิจารณาการดำเนินการที่จะทำเพื่อให้บรรลุเป้าหมาย เส้นทางจึงมีความยืดหยุ่นมากขึ้นต่อการเปลี่ยนแปลงเล็กๆ น้อยๆ ในเลย์เอาต์หรือลักษณะการทำงานของแอป ส่งผลให้การทดสอบที่ไม่เสถียรน้อยลงเมื่อเรียกใช้กับแอปเวอร์ชันต่างๆ และการกำหนดค่าอุปกรณ์ต่างๆ
คุณสามารถเขียนและเรียกใช้เส้นทางได้โดยตรงจาก Android Studio หรือจากบรรทัดคำสั่งกับอุปกรณ์ที่ใช้ Android ในเครื่องหรือระยะไกล IDE มอบประสบการณ์การใช้งานเอดิเตอร์ใหม่สำหรับการสร้างเส้นทาง รวมถึงผลการค้นหาที่เป็นริชมีเดียที่จะช่วยให้คุณเข้าใจการให้เหตุผลและการดำเนินการตามเส้นทางของ Gemini ได้ดียิ่งขึ้น
เขียนเส้นทาง
Android Studio มีเทมเพลตไฟล์และประสบการณ์การใช้งานเครื่องมือแก้ไขแบบใหม่ที่ช่วยให้การสร้างและแก้ไขเส้นทางง่ายขึ้น เส้นทางการท่องเว็บเขียนขึ้นโดยใช้ไวยากรณ์ XML เพื่อจัดระเบียบคำอธิบายและขั้นตอนของเส้นทางการท่องเว็บ
หากต้องการสร้างและเริ่มแก้ไขเส้นทาง ให้ทำดังนี้
- จากแผงโปรเจ็กต์ใน Android Studio ให้คลิกขวาที่โมดูลแอป ที่คุณต้องการเขียนเส้นทาง
- เลือกใหม่ > ทดสอบ > ไฟล์เส้นทาง
ในกล่องโต้ตอบที่ปรากฏขึ้น ให้ระบุชื่อและคำอธิบายของเส้นทาง
กล่องโต้ตอบใน Android Studio ที่คุณใช้เพื่อสร้างไฟล์เส้นทาง คลิกเสร็จสิ้น Android Studio จะสร้างไฟล์ XML สำหรับเส้นทางของคุณโดยใช้ชื่อที่คุณเลือก คุณใช้มุมมองโค้ดเพื่อแก้ไข XML โดยตรง หรือใช้มุมมองการออกแบบเพื่อประสบการณ์การแก้ไขที่ง่ายขึ้นก็ได้
เมื่อดูเส้นทางในมุมมองออกแบบ ให้ใช้ช่องข้อความเพื่อ อธิบายแต่ละขั้นตอนของเส้นทาง แต่ละขั้นตอนสามารถรวมการดำเนินการเชิงอธิบาย ที่คุณต้องการให้ Gemini ดำเนินการ หรือการยืนยันที่คุณต้องการให้ Gemini ประเมิน
กด Enter บนแป้นพิมพ์เพื่อเริ่มขั้นตอนใหม่ในเส้นทางเดียวกัน คุณทำขั้นตอนนี้ซ้ำได้ตามต้องการสำหรับแต่ละขั้นตอนของเส้นทางที่คุณต้องการ กำหนด
เคล็ดลับในการเขียนเส้นทาง
แม้ว่า AI จะเข้าใจขั้นตอนส่วนใหญ่ที่เขียนในภาษาที่รองรับได้ แต่การทำตามเคล็ดลับต่อไปนี้ในการเขียนเส้นทางจะช่วยให้ได้ผลลัพธ์ที่ถูกต้องและเป็นไปตามที่คาดหวังมากขึ้น
- สมมติว่าแอปของคุณอยู่ในเบื้องหน้าแล้ว: การเรียกใช้เส้นทางจะเปิดแอปโดยอัตโนมัติ ขั้นตอนของเส้นทางควรเริ่มต้นหลังจากที่แอปเปิดตัวอย่างเต็มรูปแบบแล้ว กล่าวคือ คุณไม่จำเป็นต้องใส่ "เปิดแอป" เป็นขั้นตอน
- ใช้ภาษาที่ชัดเจน: การใช้ภาษาที่ชัดเจนจะช่วยลดการตีความผิดและ เพิ่มความน่าเชื่อถือ
| แทนที่จะใช้ | จัดการ |
|---|---|
| "เลือกปุ่มปิด" | "แตะ 'ปิด'" หรือเพียงแค่ "ปิด" |
| "พิมพ์ "ขึ้นฉ่าย"" | "พิมพ์ 'ขึ้นฉ่าย' ในแถบค้นหาที่ด้านบนของหน้าจอหลัก" |
| "ปัดเพื่อปิด" | "ปัดไปทางซ้ายเพื่อปิด การ์ดจะไม่ปรากฏอีก" |
- ระบุเกณฑ์ความสำเร็จเป็นส่วนหนึ่งของขั้นตอน: วิธีนี้จะช่วยให้ Gemini เข้าใจเจตนาของคุณได้ดีขึ้น และชี้แจงเมื่อการดำเนินการเสร็จสมบูรณ์และเริ่มการดำเนินการถัดไปได้
| แทนที่จะใช้ | จัดการ |
|---|---|
| "เลือกปุ่มส่ง" | "ส่งอีเมลโดยแตะปุ่มส่ง การดำเนินการนี้จะปิดอีเมลและนำคุณกลับไปที่กล่องจดหมาย" |
| "ไปที่รถเข็นช็อปปิ้ง" | "แตะไอคอนรถเข็นช็อปปิ้งซึ่งจะนำคุณไปยังหน้ารถเข็นช็อปปิ้ง ตรวจสอบว่าไม่มีรายการใดๆ" |
| "คลิกวิดีโอแรก" | "คลิกวิดีโอแรกและรอให้วิดีโอโหลดจนเสร็จสมบูรณ์" |
- ปรับแต่งเส้นทาง: หากเส้นทางไม่ทำงานตามที่คาดไว้ คุณสามารถ ดูผลลัพธ์และตรวจสอบ "การดำเนินการที่ทำ" และ "เหตุผล" ที่เกี่ยวข้อง เพื่อทำความเข้าใจว่าเหตุใด Gemini จึงอาจไม่ดำเนินการตามขั้นตอนตามที่คุณ คาดไว้ ใช้ข้อมูลนี้เพื่อให้คำสั่งของคุณมีความชัดเจนยิ่งขึ้น
- แบ่งเส้นทางออกเป็นขั้นตอนที่เฉพาะเจาะจงมากขึ้น: แม้ว่า AI จะตีความขั้นตอนแบบหลายการกระทำได้ แต่บางครั้งขั้นตอนที่ละเอียดมากขึ้นอาจช่วยปรับปรุงความแม่นยำและความสามารถในการทำซ้ำของเส้นทาง
- "ข้อผิดพลาด: ดำเนินการในความพยายามที่อนุญาตสูงสุดไม่สำเร็จ" หากพบข้อผิดพลาดนี้ ให้ลองแบ่งขั้นตอนที่ไม่สำเร็จออกเป็น 2 ขั้นตอนหรือ มากกว่านั้น เนื่องจากข้อผิดพลาดนี้จะเกิดขึ้นหาก AI ดำเนินการไม่สำเร็จหลังจากพยายามโต้ตอบกับแอปของคุณจนถึงจำนวนสูงสุดแล้ว
ความสามารถที่รองรับและไม่รองรับ
ต่อไปนี้คือภาพรวมของความสามารถที่รองรับและยังไม่รองรับอย่างเต็มรูปแบบ เมื่อเขียนเส้นทาง รายการต่อไปนี้เป็นเพียงตัวอย่างบางส่วนเท่านั้น
ระบบรองรับการดำเนินการต่อไปนี้ภายในเส้นทาง
- แตะองค์ประกอบ UI
- พิมพ์เพื่อป้อนข้อความลงในช่องข้อความ
- ปัด/เลื่อนไปในทิศทางหนึ่งเพื่อไปยังส่วนต่างๆ ของ UI
ขณะนี้ระบบยังไม่รองรับความสามารถต่อไปนี้อย่างเต็มรูปแบบ หรืออาจทำงานไม่สอดคล้องกัน
- ท่าทางสัมผัสแบบหลายนิ้ว (เช่น การบีบนิ้วเพื่อซูม) - การโต้ตอบที่ต้องใช้จุดสัมผัส 2 จุดขึ้นไปบนหน้าจอพร้อมกัน เช่น การบีบนิ้วเพื่อซูมเข้าหรือออก หรือการปัดด้วย 2 นิ้ว
- กดค้าง - การกดนิ้วค้างไว้เป็นระยะเวลานานกว่าการแตะมาตรฐาน
- แตะสองครั้ง - การแตะตำแหน่งเดียวกันบนหน้าจออย่างรวดเร็ว 2 ครั้ง ติดต่อกัน
- การหมุน/พับหน้าจอ - การจัดการการเปลี่ยนแปลงการวางแนวอุปกรณ์ (เช่น ระหว่างแนวตั้งและแนวนอน) หรือสถานะทางกายภาพของอุปกรณ์พับได้ (เช่น การเปิดหรือปิด)
- ความทรงจำ - การเก็บรักษาและเรียกคืนข้อมูล บริบท หรืออินพุตของผู้ใช้ที่เฉพาะเจาะจง ในการโต้ตอบหรือขั้นตอนก่อนหน้า
- การนับ - ติดตามปริมาณ ความถี่ หรือความคืบหน้าได้อย่างแม่นยำ
- คำสั่งแบบมีเงื่อนไข - การดำเนินการตามเงื่อนไขอื่นๆ ที่ระบุไว้
ฟีเจอร์และความสามารถมีการปรับปรุงอย่างต่อเนื่อง เราขอแนะนำให้คุณกลับมาดูหน้านี้ในภายหลังเพื่อดูข้อมูลเกี่ยวกับฟีเจอร์และความสามารถเพิ่มเติม แชร์ความคิดเห็นเพื่อช่วยเราปรับปรุงฟีเจอร์เส้นทาง
เรียกใช้เส้นทาง
คุณเรียกใช้การเดินทางในอุปกรณ์ในเครื่องหรืออุปกรณ์ระยะไกลที่พร้อมใช้งานได้เช่นเดียวกับการทดสอบที่มีการตรวจสอบอื่นๆ และ Android Studio จะสร้างผลการค้นหาที่เป็นริชมีเดียซึ่งช่วยให้คุณเข้าใจการดำเนินการของการเดินทาง
หากต้องการทดสอบเส้นทาง ให้ทำดังนี้
- เลือกอุปกรณ์เป้าหมายจากแถบเครื่องมือหลัก เช่นเดียวกับตอนที่เรียกใช้การทดสอบที่มีการวัด
- ไปที่ไฟล์ XML ของเส้นทางที่ต้องการทดสอบ แล้วเปิดในเครื่องมือแก้ไข
- ในโปรแกรมแก้ไข ให้ทำอย่างใดอย่างหนึ่งต่อไปนี้
- หากอยู่ในมุมมองออกแบบ ให้คลิก
เรียกใช้เส้นทาง - หากอยู่ในมุมมองโค้ด ให้คลิก
เรียกใช้ "test" ในกัตเตอร์
ข้างตำแหน่งที่กำหนดชื่อเส้นทางใน XML
- หากอยู่ในมุมมองออกแบบ ให้คลิก
Android Studio จะสร้างการกำหนดค่า Journeys Test ให้คุณและเรียกใช้ใน อุปกรณ์เป้าหมาย ในระหว่างการดำเนินการ Android Studio จะสร้างและติดตั้งใช้งานแอป และเชื่อมต่อกับ Gemini เพื่อพิจารณาการดำเนินการที่จะทำในแต่ละขั้นตอนของ เส้นทาง
เรียกใช้เส้นทางเทียบกับแอปที่ติดตั้งไว้ล่วงหน้า
คุณเรียกใช้เส้นทางในแอปที่ติดตั้งไว้ล่วงหน้าในอุปกรณ์ทดสอบได้ ซึ่งจะมีประโยชน์ หากคุณต้องการทดสอบแอปเวอร์ชันที่ใช้งานจริง หรือหากยังไม่ได้ อัปเดตแอปเป็นปลั๊กอิน Android Gradle 9.0.0 ขึ้นไป
- เปิดหรือสร้างโปรเจ็กต์ใหม่ที่ อัปเดตเป็นปลั๊กอิน Android Gradle 9.0.0 ขึ้นไป
- เขียนเส้นทาง
- แก้ไขการกำหนดค่าการเรียกใช้สำหรับ
เส้นทางและเพิ่มตัวแปรสภาพแวดล้อมต่อไปนี้ ระบบจะสร้างการกำหนดค่าการเรียกใช้โดยอัตโนมัติเมื่อคุณพยายามเรียกใช้เส้นทางจาก Android Studio
JOURNEYS_CUSTOM_APP_IDตั้งค่ารหัสแพ็กเกจของแอปเป้าหมาย
- เรียกใช้เส้นทางที่คุณแก้ไข Android Studio ควรดำเนินการตามขั้นตอนของ เส้นทางในแอปเป้าหมายที่คุณระบุ
เรียกใช้เส้นทางจากบรรทัดคำสั่ง
นอกจากนี้ คุณยังเรียกใช้ Journey จากบรรทัดคำสั่งเป็นงาน Gradle ได้ด้วย
ตั้งค่า
คุณจะต้องตรวจสอบสิทธิ์กับ Google Cloud เพื่อใช้เส้นทางจากบรรทัดคำสั่ง
หมายเหตุ: ขั้นตอนเหล่านี้ใช้ gcloud CLI เพื่อระบุข้อมูลเข้าสู่ระบบของผู้ใช้ ซึ่ง อาจใช้ไม่ได้กับสภาพแวดล้อมการพัฒนาบางอย่าง ดูข้อมูลเพิ่มเติมเกี่ยวกับกระบวนการตรวจสอบสิทธิ์ที่ควรใช้สำหรับความต้องการของคุณได้ที่วิธีการทำงานของข้อมูลรับรองเริ่มต้นของแอปพลิเคชัน
หากต้องการติดตั้ง Google Cloud CLI ให้ทำตามขั้นตอนที่ติดตั้ง gcloud CLI
สำหรับข้อมูลเข้าสู่ระบบของผู้ใช้
คุณให้สิทธิ์ด้วยตนเองได้โดยใช้คำสั่งเทอร์มินัลต่อไปนี้
gcloud auth application-default login
สำหรับข้อมูลเข้าสู่ระบบบัญชีบริการ
หากยังไม่ได้ดำเนินการ ให้ทำตามคำแนะนำเพื่อสร้างข้อมูลเข้าสู่ระบบของบัญชีบริการสำหรับโปรเจ็กต์
- ตรวจสอบว่าได้เปิดใช้ IAM Service Account Credentials API สำหรับโปรเจ็กต์ที่คุณสร้างคีย์บัญชีบริการ
- ตรวจสอบว่าผู้ใช้ที่เป็นผู้ดูแลระบบและบัญชีบริการมี
Service Account Token Creatorสิทธิ์ที่ได้รับ
หากต้องการตรวจสอบสิทธิ์ ให้เรียกใช้คำสั่งต่อไปนี้
gcloud auth application-default login --impersonate-service-account SERVICE_ACCOUNT_EMAIL
เรียกใช้เป็นงาน Gradle
เรียกใช้ Journeys โดยการเรียกใช้ Gradle Task ในบรรทัดคำสั่งโดยตรง หลังจาก เรียกใช้ทาสก์แล้ว ผลการทดสอบจะปรากฏในบันทึก และระบบจะสร้างไฟล์ผลการทดสอบ HTML และ XML
เรียกใช้ Journeys ทั้งหมด คุณเรียกใช้ Journeys ทั้งหมดในชุดทดสอบได้ด้วยคำสั่งต่อไปนี้
./gradlew :app:testJourneysTestDefaultDebugTestSuite
หากต้องการเรียกใช้เส้นทางเดียว
ใช้ JOURNEYS_FILTER เพื่อระบุชื่อเส้นทางที่คุณต้องการเรียกใช้
ดังนี้
JOURNEYS_FILTER=your_journey_name.journey.xml ./gradlew :app:testJourneysTestDefaultDebugTestSuite
หากต้องการเรียกใช้เส้นทางทั้งหมดในไดเรกทอรีย่อย
ตั้งค่า JOURNEYS_FILTER เป็นชื่อไดเรกทอรีย่อย ตัวอย่างเช่น คำสั่งต่อไปนี้จะเรียกใช้เส้นทางทั้งหมดในไดเรกทอรีย่อย home ภายในไดเรกทอรีรากของชุดทดสอบ
JOURNEYS_FILTER=home ./gradlew :app:testJourneysTestDefaultDebugTestSuite
ดูผลลัพธ์
เมื่อ Android Studio ทดสอบเส้นทางเสร็จสมบูรณ์ แผงผลการทดสอบ จะปรากฏขึ้นโดยอัตโนมัติเพื่อแสดงผลลัพธ์
เมื่อเทียบกับการทดสอบที่ใช้เครื่องมืออื่นๆ ที่คุณอาจเรียกใช้ใน Android Studio การแสดงผลลัพธ์ของการเดินทางจะมีความแตกต่างอยู่บ้าง
- แผงการทดสอบจะแบ่งเส้นทางออกเป็นขั้นตอนต่างๆ คุณคลิกแต่ละขั้นตอนเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ Gemini ดำเนินการได้
- แผงผลลัพธ์จะแสดงข้อมูลที่สมบูรณ์เพื่อช่วยให้คุณเข้าใจวิธีที่ Gemini
เข้าใจและให้เหตุผลเกี่ยวกับเส้นทางของคุณ รวมถึงวิธีที่ Gemini ดำเนินการ
- ระบบจะแสดงภาพหน้าจอที่ส่งไปยัง Gemini เพื่อเป็นภาพประกอบในแต่ละ การดำเนินการในขั้นตอน
- การดำเนินการแต่ละอย่างและเหตุผลของ Gemini ที่ทำให้ดำเนินการดังกล่าวจะ อธิบายไว้ข้างภาพหน้าจอแต่ละภาพ
- การดำเนินการแต่ละอย่างในขั้นตอนจะมีหมายเลขกำกับ
ปัญหาที่ทราบ
- เมื่อทดสอบเส้นทาง ระบบจะให้สิทธิ์ทั้งหมดสำหรับแอปของคุณโดยค่าเริ่มต้น
- เมื่อทดสอบเส้นทางในอุปกรณ์ที่ใช้ Android 15 (API ระดับ 35) คุณอาจเห็นคำเตือนในอุปกรณ์ที่ระบุว่า "บล็อกแอปที่ไม่ปลอดภัย" สำหรับ "AndroidX Crawler" คุณคลิกติดตั้งต่อไปเพื่อข้ามการตรวจสอบนี้ได้ หรือจะกำหนดค่าตัวเลือกสำหรับนักพัฒนาแอปในอุปกรณ์และปิดใช้ตัวเลือกยืนยันแอปผ่าน USB ก็ได้