สร้างแอป Android อัจฉริยะ: ผสานรวมเข้ากับระบบอัจฉริยะของ Android โดยใช้ AppFunctions
ใช้เวลาอ่าน 6 นาที
ยินดีต้อนรับกลับสู่ชุดบล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent ในโพสต์ก่อนหน้า เราได้สำรวจวิธีใช้ประโยชน์จาก Firebase AI Logic เพื่อสร้างฟีเจอร์ AI แบบไฮบริดและโฮสต์ในระบบคลาวด์
UI บนอุปกรณ์เคลื่อนที่แบบดั้งเดิมเหมาะสำหรับงานที่ต้องลงมือทำและเน้นเฉพาะจุด และระบบอัจฉริยะของ Android กำลังเปิดตัวฟีเจอร์เสริมเพื่อช่วยให้การดำเนินการที่ซับซ้อนและมีหลายขั้นตอนง่ายยิ่งขึ้น AppFunctions เป็นจุดแรกเข้าใหม่ที่มีประสิทธิภาพซึ่งช่วยเสริมอินเทอร์เฟซผู้ใช้แบบเดิม โดยตัวแทนที่มีสิทธิ์ในอุปกรณ์จะเข้าถึงฟีเจอร์ของแอปในเบื้องหลังได้ ซึ่งจะเป็นประโยชน์อย่างยิ่งเมื่อผู้ใช้กำลังขับรถ เดิน หรือทำงานหลายอย่างพร้อมกัน
ในบทความนี้ เราจะแสดงวิธีที่เราออกแบบและผสานรวมความสามารถเหล่านี้ไว้ในแอปวางแผนการเดินทาง JetPacker โดยใช้ AppFunctions ของ Android เราจะสำรวจเหตุผลเบื้องหลังการเลือกฟีเจอร์ พูดคุยเกี่ยวกับเครื่องมือเฉพาะทางที่เราใช้เพื่อเร่งการพัฒนา และเจาะลึกโค้ดที่ทำให้ทุกอย่างทำงานได้
การออกแบบฟีเจอร์ที่พร้อมใช้งาน AI: การตัดสินใจที่สำคัญสำหรับผู้ใช้
ในการเลือกฟีเจอร์ที่จะมอบให้กับระบบอัจฉริยะ เรามองหางานที่คำสั่งเสียงหรือข้อความเร็วกว่าการแตะผ่านหน้าจออย่างเป็นรูปธรรม ในการบันทึกหน้าจอแบบเทียบกันนี้ คุณจะเห็นความแตกต่างได้อย่างชัดเจน โดยทางด้านซ้าย ผู้ใช้แตะผ่านหน้าจอหลายหน้าเพื่อบันทึกค่าใช้จ่าย ส่วนทางด้านขวา งานเดียวกันนี้เสร็จสมบูรณ์ทันทีในเบื้องหลังผ่านเอเจนต์ที่มีสิทธิ์พิเศษ
ตัวเลือกแรกของเราคือการติดตามค่าใช้จ่าย โดยปกติแล้ว การบันทึกค่าใช้จ่ายสำหรับกาแฟระหว่างการเดินทางจะใช้การแตะหลายครั้ง เช่น ปลดล็อกโทรศัพท์ เปิดแอป ค้นหาการเดินทางที่ดำเนินอยู่ ไปที่แท็บค่าใช้จ่าย แตะปุ่มเพิ่ม ถ่ายภาพใบเสร็จ และตรวจสอบผลลัพธ์ การจัดเตรียมฟีเจอร์ addExpense และ getExpenses เป็น AppFunctions จะทำให้ Agent ของระบบจัดการงานที่ซับซ้อนได้ เมื่อผู้ใช้พูดว่า "เพิ่มค่าใช้จ่ายกาแฟ 5 ดอลลาร์ลงในทริปปารีสของฉัน" Agent จะค้นหารหัสการเดินทางที่ถูกต้องในเบื้องหลังโดยอัตโนมัติและแทรกค่าใช้จ่าย โดยข้ามขั้นตอน UI ที่ต้องทำด้วยตนเองทั้งหมด
นอกจากนี้ เรายังให้ความสำคัญกับการจัดการแผนการเดินทางด้วย การค้นหากิจกรรมถัดไปในแผนการเดินทางที่ยุ่งเหยิงมักจะต้องเลื่อนดูมุมมองไทม์ไลน์ที่หนาแน่น เมื่อระบุ getItinerary และ addItineraryEvent ให้กับระบบ ผู้ใช้จะถามได้ง่ายๆ ว่า "ฉันจะทำอะไรต่อในปารีส" และได้รับคำตอบทันที
สุดท้าย เรามุ่งเน้นที่การจดโน้ตแบบแฮนด์ฟรี การพิมพ์การช่วยเตือนหรือโน้ตขณะเดินบนถนนที่พลุกพล่านเป็นเรื่องยากและไม่ปลอดภัย การแสดงความสามารถของบันทึกเสียงช่วยให้ผู้ใช้พูดว่า "เที่ยวบินนี้ยอดเยี่ยมมาก ฉันเห็นพระอาทิตย์ตกที่สวยงามและนอนหลับสบาย" และ Agent ที่ได้รับสิทธิ์จะถอดเสียงและบันทึกลงในฐานข้อมูลการเดินทางโดยตรงโดยอัตโนมัติโดยใช้ AppFunction addVoiceNote
Android MCP ที่ขับเคลื่อนโดย AppFunctions
ประสบการณ์การใช้งานทั้งหมดนี้สร้างขึ้นบน Android MCP ภายใต้การออกแบบนี้ แอปจะทำหน้าที่เป็นเซิร์ฟเวอร์ MCP ในเครื่อง คุณสามารถมอบฟีเจอร์ของแอปให้กับระบบอัจฉริยะในอุปกรณ์ได้โดยตรงแทนที่จะใช้ API ระยะไกล
Android AppFunctions คือ API ที่ทำให้แนวคิดนี้เป็นจริง โดยจะอ่านฟังก์ชัน Kotlin ที่มีคำอธิบายประกอบและคอมไพล์เป็นคำจำกัดความของเครื่องมือที่ปลอดภัยในการกำหนดประเภทและอยู่ในแซนด์บ็อกซ์ ซึ่ง Agent ที่มีสิทธิ์จะค้นพบและเรียกใช้ในอุปกรณ์ได้
ภายใต้โมเดล MCP ของ Android แอปของคุณจะทำหน้าที่เป็นเซิร์ฟเวอร์ MCP ในเครื่องที่แสดงเครื่องมือที่มีโครงสร้าง ขณะที่แพลตฟอร์ม Android จะทำหน้าที่เป็นรีจิสทรีเครื่องมือส่วนกลาง ในฝั่งไคลเอ็นต์ MCP แอป Agent จะลงทะเบียนกับระบบอัจฉริยะหลังจากได้รับสิทธิ์ระดับระบบในการเข้าถึงรีจิสทรี
เมื่อผู้ใช้โต้ตอบกับ Agent ที่ลงทะเบียนไว้ LLM ของ Agent จะพิจารณาว่า AppFunction สามารถจัดการคำขอได้หรือไม่ ค้นหาข้อมูลเมตาของแพลตฟอร์ม และเรียกใช้ฟังก์ชันที่ลงทะเบียนไว้ที่เหมาะสมในเบื้องหลัง การออกแบบไคลเอ็นต์-เซิร์ฟเวอร์ MCP ในเครื่องนี้ช่วยให้คุณควบคุมได้อย่างเต็มที่ โดยคุณสามารถเลือกฟีเจอร์ที่ตัวแทนเข้าถึงได้ และเก็บข้อมูลที่เหลือของแอปไว้เป็นส่วนตัว
วิธีที่เราเร่งการพัฒนาด้วยทักษะ Android
เราใช้ทักษะการพัฒนา AppFunctions เพื่อปรับปรุงกระบวนการผสานรวมให้มีประสิทธิภาพมากขึ้น ทักษะการพัฒนา AppFunctions เป็นเครื่องมือที่ช่วยในการพัฒนาอย่างครบวงจร โดยช่วยแนะนำเราตลอดวงจรทั้งหมด ตั้งแต่การแมปคลาสข้อมูล Kotlin เพื่อจัดรูปแบบพารามิเตอร์ การสร้างจุดแรกเข้า Service ที่จำเป็น การปรับแต่งเอกสารประกอบ KDoc เพื่อให้ LLM เข้าใจขอบเขตของพารามิเตอร์ และการตั้งค่าการทดสอบอัตโนมัติโดยใช้ ADB
การจัดเตรียมฟีเจอร์ของแอปให้กับระบบอัจฉริยะ
เราพูดถึงทฤษฎีกันมามากพอแล้ว มาดูการติดตั้งใช้งานกันเลย
การกำหนดค่าและการตั้งค่าทรัพยากร Dependency
เราจะเริ่มด้วยการเพิ่มทรัพยากร Dependency ของ AppFunctions โดยรายการหนึ่งสำหรับ API และอีกรายการหนึ่งสำหรับคอมไพเลอร์ Kotlin Symbol Processing
implementation("androidx.appfunctions:appfunctions:1.0.0-alpha10")
ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-alpha10")การสร้างโมเดลประเภทข้อมูลที่กำหนดเอง
ออบเจ็กต์ที่กำหนดเองซึ่งแลกเปลี่ยนกับ Agent ต้องมีคำอธิบายประกอบด้วย @AppFunctionSerializable ในไฟล์ TripSerializable.kt เราจะกำหนดโมเดลข้อมูลการเดินทางดังนี้
@AppFunctionSerializable(isDescribedByKDoc = true) data class TripSerializable( /** The trip's unique identifier. */ val id: String, /** The trip's title. */ val title: String, /** The trip's destination location. */ val location: String, /** The trip's start date in milliseconds. */ val startDate: Long, /** The trip's end date in milliseconds. */ val endDate: Long, /** A list of participants. */ val participants: List<String>, )
การให้บริการฟีเจอร์โดยใช้คำอธิบายประกอบ @AppFunction
จากนั้น ทักษะจะเขียนฟังก์ชัน Kotlin ที่ทำการค้นหาฐานข้อมูลและใส่คำอธิบายประกอบด้วย @AppFunction เราดูข้อมูลนี้ได้ใน searchTrip ดังนี้
/** * Looks for trips based on optional filters like id, title (name), location, and dates. * * @param id The unique identifier of the trip. * @param title The title or name of the trip. * @param location The destination location. * @param startDate The minimum start date in milliseconds. * @param endDate The maximum end date in milliseconds. * @return A list of trips matching the filters. */ @AppFunction(isDescribedByKDoc = true) suspend fun searchTrip( id: String? = null, title: String? = null, location: String? = null, startDate: Long? = null, endDate: Long? = null ): List<TripSerializable> { return withContext(Dispatchers.IO) { // implementation }
เนื่องจาก AppFunctions ทำงานในเธรด UI โดยค่าเริ่มต้น เราจึงใช้ withContext(Dispatchers.IO) เพื่อเปลี่ยนไปใช้ Dispatcher ในเบื้องหลัง นอกจากนี้ เรายังปรับแต่ง KDoc ให้ใช้คำกริยาที่ชัดเจนและจำเป็น รวมถึงระบุข้อจำกัดของพารามิเตอร์ เอกสารประกอบนี้จะคอมไพล์ลงในสคีมาของเครื่องมือโดยตรง ซึ่ง Agent ที่ได้รับสิทธิ์จะใช้เพื่อแก้ไขพารามิเตอร์และจัดการข้อผิดพลาดขณะรันไทม์
จุดแรกเข้าของบริการและการผสานรวม Hilt
หากต้องการลงทะเบียนฟีเจอร์เหล่านี้กับระบบอัจฉริยะ เราจะสร้างคลาสพื้นฐานแบบนามธรรมที่ขยาย AppFunctionService เราจะใส่คำอธิบายประกอบ @AppFunctionServiceEntryPoint ดังนี้
@RequiresApi(36) @AndroidEntryPoint @AppFunctionServiceEntryPoint( serviceName = "JetPackerAppFunctionService", appFunctionXmlFileName = "jetpacker_app_function_service" ) abstract class BaseJetPackerAppFunctionService : AppFunctionService() { @Inject internal lateinit var tripDao: TripDao // DAOs and database references are injected here... }
ในระหว่างการคอมไพล์ KSP จะสร้างคลาสย่อยของบริการที่เป็นรูปธรรมขั้นสุดท้าย JetPackerAppFunctionService ตามที่ประกาศไว้ด้วยพารามิเตอร์ serviceName นอกจากนี้ เรายังลงทะเบียน app_metadata.xml ในไฟล์ Manifest ของแอปด้วย ไฟล์นี้มีกฎการดำเนินการส่วนกลางสำหรับ AppFunction ที่ประกาศของ JetPacker
การทดสอบและยืนยัน AppFunctions
เมื่อติดตั้งใช้งานแล้ว คุณควรยืนยันว่า AppFunctions ได้รับการลงทะเบียนและทำงานอย่างถูกต้อง
เมื่อใช้อุปกรณ์หรือโปรแกรมจำลองที่ใช้ Android 17 ขึ้นไป คุณจะใช้คำสั่ง ADB จากเทอร์มินัลเพื่อแสดงรายการและเรียกใช้ฟังก์ชันได้ การเรียกใช้ adb shell cmd app_function list-app-functions จะแสดงฟังก์ชันที่ลงทะเบียนทั้งหมดสำหรับแพ็กเกจของคุณ จากนั้นคุณจะเรียกใช้ฟังก์ชันที่เฉพาะเจาะจงและทดสอบการผสานรวมฐานข้อมูลได้โดยเรียกใช้ adb shell cmd app_function execute-app-function ขณะส่งสตริงพารามิเตอร์ JSON แบบข้อมูลดิบ
นอกจากคำสั่ง ADB เหล่านี้แล้ว คุณยังใช้ AppFunctions Testing Agent เพื่อตรวจสอบการกำหนดค่า แสดงรายการและเรียกใช้ AppFunctions รวมถึงดูพฤติกรรมของ AppFunctions ในขั้นตอนการสนทนาจริงได้ด้วย
สรุปปิดท้าย
เมื่อนึกถึงฟีเจอร์ของแอปที่สามารถนำไปใช้กับระบบอัจฉริยะโดยใช้ AppFunctions เราจำเป็นต้องเปลี่ยนวิธีคิดเกี่ยวกับโค้ดและเอกสารประกอบเล็กน้อย AppFunctions ช่วยให้คุณใช้โมเดลการโต้ตอบใหม่นี้สำหรับแอปได้ ซึ่งจะช่วยให้ใช้ Agent เพื่อเข้าถึงฟีเจอร์ของแอปได้
อย่างแรก ทักษะการพัฒนา AppFunctions เป็นเครื่องมือวงจรที่สำคัญ ซึ่งช่วยให้คุณค้นพบฟีเจอร์ต่างๆ รวมถึงติดตั้งใช้งานและปรับแต่ง AppFunctions สำหรับแอปของคุณ ประการที่ 2 ความคิดเห็น KDoc เป็นเนื้อหา API ที่คอมไพล์แล้ว คำอธิบายพารามิเตอร์ที่ชัดเจนจะส่งผลโดยตรงต่อความแม่นยำในการดำเนินการของตัวแทนระบบ สุดท้ายนี้ Android MCP จะให้การดำเนินการแบบ Local-First ซึ่งช่วยให้แอปทำงานร่วมกับ AI Agent ได้อย่างปลอดภัย
การมีส่วนร่วมในฟีเจอร์ของแอปผ่าน AppFunctions จะทำให้แอปพลิเคชันของคุณพร้อมสำหรับระบบอัจฉริยะ โปรดแจ้งให้เราทราบว่าคุณกำลังปรับแอปให้เข้ากับยุคของ Agent อย่างไร
ดูข้อมูลเพิ่มเติม
ดูส่วนอื่นๆ ของชุดบล็อกโพสต์นี้
ส่วนที่ 1: ข้อมูลเบื้องต้นเกี่ยวกับแอปและภาพรวมระดับสูง
ส่วนที่ 2: ข้อมูลอัจฉริยะในอุปกรณ์ เจาะลึก GenAI API ของ ML Kit และ Gemini Nano เพื่อสร้างฟีเจอร์ที่ให้ความสำคัญกับความเป็นส่วนตัวเป็นอันดับแรก เช่น การสรุปแผนการเดินทาง การแยกวิเคราะห์ใบเสร็จ และการประมวลผลเสียงในเครื่อง
ส่วนที่ 3: การให้เหตุผลแบบไฮบริดและระบบคลาวด์ สำรวจวิธีใช้ Firebase AI Logic เพื่ออิงคำตอบของ LLM ตามข้อมูลในชีวิตจริง เช่น Google Maps และบริบทของเว็บ
ส่วนที่ 4 (โพสต์นี้) การผสานรวมระบบ การผสานรวมกับระบบอัจฉริยะของ Android โดยใช้ AppFunctions
ส่วนที่ 5 (เร็วๆ นี้): เวิร์กโฟลว์แบบเป็น Agent ในแอป ขยายขีดความสามารถของแอปด้วยผู้ช่วยการจองแบบครบวงจรที่ทำงานด้วย A2UI และ ADK
หากสนใจดูข้อมูลเพิ่มเติมเกี่ยวกับการพัฒนา Android ติดตามนักพัฒนาแอป Android บน YouTube หรือ LinkedIn
ข้อมูลโค้ดทั้งหมดในบล็อกโพสต์นี้เป็นไปตามการแจ้งเตือนลิขสิทธิ์ต่อไปนี้
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
วิธีการยินดีต้อนรับกลับสู่ชุดบล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งคุณจะได้นำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent ในโพสต์ก่อนหน้านี้ คุณได้เรียนรู้วิธีเชื่อมต่อกับระบบอัจฉริยะโดยใช้ AppFunctions
Jolanda Verhoef • ใช้เวลาอ่าน 9 นาที -
วิธีการยินดีต้อนรับกลับสู่ซีรีส์บล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent
Thomas Ezan, Jolanda Verhoef, Caren Chang • ใช้เวลาอ่าน 8 นาที -
วิธีการยินดีต้อนรับกลับสู่ซีรีส์บล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent ในโพสต์ก่อนหน้านี้ เราได้แนะนำ Jetpacker ซึ่งเป็นแอปสาธิตที่เราจะใช้ตลอดทั้งซีรีส์นี้
Caren Chang • ใช้เวลาอ่าน 6 นาที
รับข้อมูลเชิงลึกล่าสุดเกี่ยวกับการพัฒนา Android ที่ส่งไปยังกล่องจดหมายของคุณทุกสัปดาห์