ยินดีต้อนรับกลับสู่ชุดบล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ อัจฉริยะ และใช้ Agent ในโพสต์ก่อนหน้านี้ เราได้แนะนำ Jetpacker ซึ่งเป็นแอปสาธิตที่เราจะใช้ตลอดซีรีส์นี้
ในบล็อกโพสต์นี้ เราจะแชร์วิธีใช้ Gemini Nano ผ่าน Prompt API ของ ML Kit เพื่อสร้างฟีเจอร์อัจฉริยะในอุปกรณ์
การสร้างฟีเจอร์อัจฉริยะในอุปกรณ์หมายถึงความสามารถในการประมวลผลพรอมต์และข้อมูลในอุปกรณ์โดยตรงโดยไม่ต้องส่งข้อมูลไปยังเซิร์ฟเวอร์ ซึ่งมีข้อดีหลายประการ ดังนี้
- ข้อมูลผู้ใช้สามารถประมวลผลในเครื่องบนอุปกรณ์ได้ ซึ่งจะช่วยรักษาความเป็นส่วนตัวของผู้ใช้
- ฟังก์ชันการทำงานของโมเดลเชื่อถือได้แม้จะมีการเชื่อมต่ออินเทอร์เน็ตที่ไม่เสถียรหรือไม่มีการเชื่อมต่ออินเทอร์เน็ต
- ไม่มีค่าใช้จ่ายในการอนุมานบนระบบคลาวด์เพิ่มเติม เนื่องจากทุกอย่างทำงานบนฮาร์ดแวร์ของผู้ใช้
เมื่อคำนึงถึงประโยชน์ของการประมวลผลในอุปกรณ์ เราจึงระบุฟีเจอร์ 3 อย่างที่จะเพิ่มลงใน Jetpacker ซึ่งจะช่วยปรับปรุงประสบการณ์ของผู้ใช้ ได้แก่ การสรุปแผนการเดินทาง การจัดการค่าใช้จ่าย และการบันทึกเสียง
การสรุปข้อความสั้นๆ ที่ปรับแต่งมาอย่างดีและมีคุณภาพสูง
หน้าจอแผนการเดินทางจะแสดงภาพรวมคร่าวๆ ของกิจกรรมทั้งหมดสำหรับการเดินทางหนึ่งๆ ให้ผู้ใช้เห็น เนื่องจากหน้าจอนี้มีข้อมูลจำนวนมาก คุณจึงอาจรู้สึกว่ามีข้อมูลมากเกินไปอย่างรวดเร็ว เราสามารถเพิ่มส่วน "เตรียมพร้อมสำหรับการเดินทาง" ไว้ที่ด้านบนเพื่อช่วยให้ผู้ใช้เตรียมตัวได้โดยไม่รู้สึกว่ามีข้อมูลมากเกินไป
การป้อนแผนการเดินทางและขอให้ LLM สรุปข้อมูลจะช่วยให้เราสร้างข้อมูลสรุปสั้นๆ ของการเดินทาง พร้อมเคล็ดลับการจัดกระเป๋าและวลีท้องถิ่นที่เป็นประโยชน์ได้ นี่เป็นกรณีการใช้งานที่ยอดเยี่ยมสำหรับโมเดลในอุปกรณ์ด้วยเหตุผลหลายประการ ดังนี้
- ประสิทธิภาพและคุณภาพ: ทั้งข้อความอินพุตและเอาต์พุตค่อนข้างสั้น ด้วยเหตุนี้ เราจึงคาดหวังได้ว่าประสิทธิภาพและคุณภาพของโซลูชันในอุปกรณ์จะเทียบเท่ากับโมเดลระบบคลาวด์ที่มีประสิทธิภาพมากกว่า
- ความสามารถในการปรับขนาด: การเปลี่ยนการอนุมานในอุปกรณ์ช่วยให้เราปรับขนาดฟีเจอร์นี้จากผู้ใช้ไม่กี่รายเป็นหลายล้านรายได้โดยไม่ต้องกังวลเกี่ยวกับการจัดการต้นทุนการอนุมานในระบบคลาวด์ที่เพิ่มขึ้น
- เวลาในการตอบสนองต่ำและความน่าเชื่อถือ: การอนุมานในอุปกรณ์รับประกันเวลาในการตอบสนองต่ำ ซึ่งจะมอบประสบการณ์ที่เชื่อถือได้แม้ว่าผู้ใช้จะออฟไลน์อยู่ก็ตาม
ในการสร้างด้วยโมเดลในอุปกรณ์ เราใช้ Gemini Nano ซึ่งเป็นโมเดลที่มีประสิทธิภาพมากที่สุดของ Google ที่เพิ่มประสิทธิภาพสำหรับมือถือ Gemini Nano เปิดตัวครั้งแรกเมื่อไม่กี่ปีที่ผ่านมา และตอนนี้กำลังทำงานบนอุปกรณ์มากกว่า 140 ล้านเครื่อง โมเดลเวอร์ชันล่าสุดอย่าง Gemini Nano 4 สร้างขึ้นบนสถาปัตยกรรมพื้นฐานของโมเดล Gemma 4 ที่เพิ่งเปิดตัว และได้รับการเพิ่มประสิทธิภาพเพิ่มเติมเพื่อประสิทธิภาพแบตเตอรี่และการทำงานสูงสุด
การใช้ Prompt API ของ ML Kit ช่วยให้เราใช้ประโยชน์จากความสามารถของโมเดลใหม่ของ Gemini Nano 4 เพื่อสร้างต้นแบบฟีเจอร์ในอุปกรณ์ได้ เราจะสร้างพรอมต์ที่มีแผนการเดินทางและขอให้โมเดลสร้างสรุปพร้อมเคล็ดลับการเตรียมตัว
การค้นหาพรอมต์ที่เหมาะสมที่สุดมักต้องมีการทำซ้ำ และแอป AICore ก็เหมาะอย่างยิ่งสำหรับขั้นตอนนี้ในกระบวนการ หลังจากเลือกใช้ตัวเลือกเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ของ AICore แล้ว เราจะดาวน์โหลดโมเดลเวอร์ชันตัวอย่าง เช่น Gemini Nano 4 เพื่อทดสอบพรอมต์และดูเอาต์พุตที่คาดไว้ของโมเดลได้ การปรับแต่งพรอมต์เพียงไม่กี่ครั้งช่วยให้เราปรับปรุงความเร็วในการตอบกลับจาก 13 วินาทีให้เหลือไม่ถึง 2 วินาทีได้ ดูการติดตั้งใช้งานโค้ดและพรอมต์ขั้นสุดท้ายได้ที่นี่
การประมวลผลข้อมูลที่ละเอียดอ่อนที่ผู้ใช้ป้อนในเครื่อง
ถัดไป เพื่อช่วยให้ผู้ใช้เพลิดเพลินกับการเดินทางมากยิ่งขึ้น เราจะสร้างเครื่องมือจัดการค่าใช้จ่ายที่เรียบง่ายซึ่งจะช่วยลดภาระงานในการจัดเรียงใบเสร็จและคำนวณงบประมาณ
เนื่องจากใบเสร็จอาจมีข้อมูลที่ละเอียดอ่อน เช่น หมายเลขบัตรเครดิตและที่อยู่ จึงเป็นอีกหนึ่ง Use Case ที่ยอดเยี่ยมสำหรับโซลูชันในอุปกรณ์ เมื่อใช้โมเดลในอุปกรณ์ ผู้ใช้จะมั่นใจได้ว่าระบบจะประมวลผลข้อมูลส่วนตัวในอุปกรณ์โดยไม่มีการส่งข้อมูลไปยังระบบคลาวด์
นอกจากนี้ Gemini Nano 4 ยังมีความสามารถของโมเดลที่ได้รับการปรับปรุงสำหรับการทำงานแบบหลายรูปแบบ โดยเฉพาะอย่างยิ่งสำหรับงานด้านการทำความเข้าใจรูปภาพ เช่น OCR และการดึงข้อมูลภาพ จึงเป็นโซลูชันที่ยอดเยี่ยมสำหรับงานต่างๆ เช่น การดึงข้อมูลจากใบเสร็จ
สำหรับ Use Case นี้ พรอมต์จะวิเคราะห์รูปภาพใบเสร็จ และแสดงข้อมูล เช่น ชื่อที่สร้างขึ้น จำนวนเงินที่ใช้จ่าย และหมวดหมู่ของค่าใช้จ่าย เพื่อให้เอาต์พุตโมเดลแสดงข้อมูลในรูปแบบที่ต้องการ เราสามารถใช้ Structured Output API ของ ML Kit เพื่อแสดงออบเจ็กต์ข้อมูล Kotlin ที่เรากำหนดได้อย่างราบรื่น
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseอินพุตหลายรูปแบบ
สุดท้าย เพื่อช่วยให้ผู้ใช้บันทึกเสียงช่วยจำระหว่างการเดินทางได้ เรามาสร้างฟีเจอร์บันทึกเสียงในอุปกรณ์กัน เราจะใช้ Speech Recognition API ของ ML Kit เพื่อให้ผู้ใช้บันทึกโน้ตเสียงสั้นๆ ที่จะถอดเสียงเป็นข้อความโดยอัตโนมัติ เมื่อได้ข้อความที่ถอดเสียงแล้ว เราจะใช้ Prompt API ของ ML Kit เพื่อระบุว่ากิจกรรมการเดินทางใดเชื่อมโยงกับบันทึกเสียงที่บันทึกไว้ ซึ่งจะช่วยให้ผู้ใช้สรุปการเดินทางได้อย่างง่ายดายขณะเลื่อนดูแผนการเดินทาง
ML Kit GenAI Speech Recognition API ช่วยให้คุณถอดเสียงเนื้อหาเป็นข้อความในอุปกรณ์ได้อย่างสมบูรณ์โดยใช้ 2 โหมดที่แตกต่างกัน โหมดพื้นฐานใช้โมเดลการจดจำเสียงพูดในอุปกรณ์แบบดั้งเดิม และพร้อมใช้งานในอุปกรณ์ Android ส่วนใหญ่ที่มีระดับ API 31 ขึ้นไป โหมดขั้นสูงใช้ Gemini Nano เพื่อให้ครอบคลุมภาษาได้กว้างขึ้นและมีคุณภาพดีขึ้น โดยปัจจุบันรองรับในอุปกรณ์ Pixel 10
สำหรับฟีเจอร์ของเรา เราได้รวม Speech Recognition API เข้ากับ ML Kit GenAI Prompt API ดังนี้
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}บทสรุป
การใช้ GenAI API ของ ML Kit ช่วยให้เราใช้ประโยชน์จาก Gemini Nano เพื่อพัฒนาฟีเจอร์อัจฉริยะในอุปกรณ์ทั้งหมดสำหรับแอป JetPacker และมอบประสบการณ์ของผู้ใช้ที่ดียิ่งขึ้นโดยไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับระบบคลาวด์
ดูซอร์สโค้ดทั้งหมดของ Jetpacker ใน GitHub และดูวิดีโอสร้างแอป Android อัจฉริยะด้วย AI ของ Google เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีผสานรวมฟีเจอร์อัจฉริยะลงในแอปโดยตรงโดยใช้โมเดลในอุปกรณ์ การให้เหตุผลที่ทำงานในระบบคลาวด์ และเฟรมเวิร์กแบบ Agentic ล่าสุด
ดูข้อมูลเพิ่มเติม
ดูส่วนอื่นๆ ของซีรีส์บล็อกโพสต์นี้ได้ที่
ส่วนที่ 1: ข้อมูลเบื้องต้นเกี่ยวกับแอปและภาพรวมระดับสูง
ส่วนที่ 2 (โพสต์นี้) ความชาญฉลาดในอุปกรณ์ เจาะลึก GenAI API ของ ML Kit และ Gemini Nano เพื่อสร้างฟีเจอร์ที่ให้ความสำคัญกับความเป็นส่วนตัวเป็นอันดับแรก เช่น การสรุปแผนการเดินทาง การแยกวิเคราะห์ใบเสร็จ และการประมวลผลเสียงในเครื่อง
ส่วนที่ 3: การให้เหตุผลเกี่ยวกับระบบไฮบริดและระบบคลาวด์ สำรวจวิธีใช้ Firebase AI Logic เพื่ออิงคำตอบของ LLM ตามข้อมูลในชีวิตจริง เช่น Google Maps และบริบทของเว็บ
ส่วนที่ 4: การผสานรวมระบบ การผสานรวมกับระบบอัจฉริยะของ Android โดยใช้ AppFunctions
ส่วนที่ 5 (เร็วๆ นี้): เวิร์กโฟลว์ที่ใช้ Agent ในแอป ขยายขีดความสามารถของแอปด้วยผู้ช่วยการจองแบบครบวงจรที่ทำงานด้วย A2UI และ ADK
หากสนใจดูข้อมูลเพิ่มเติมเกี่ยวกับการพัฒนา Android ติดตามนักพัฒนาแอป Android บน YouTube หรือ LinkedIn
ข้อมูลโค้ดทั้งหมดในบล็อกโพสต์นี้เป็นไปตามการแจ้งเตือนลิขสิทธิ์ต่อไปนี้
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
วิธีการยินดีต้อนรับกลับสู่ซีรีส์บล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent
Thomas Ezan, Jolanda Verhoef, Caren Chang • ใช้เวลาอ่าน 8 นาที -
วิธีการยินดีต้อนรับกลับสู่ชุดบล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งคุณจะได้นำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ ชาญฉลาด และทำงานแบบ Agent ในโพสต์ก่อนหน้านี้ คุณได้เรียนรู้วิธีเชื่อมต่อกับระบบอัจฉริยะโดยใช้ AppFunctions
Jolanda Verhoef • ใช้เวลาอ่าน 9 นาที -
วิธีการJetpacker เป็นแอปสาธิตทางเทคนิคที่ทีมของเราสร้างขึ้นใหม่ทั้งหมดสำหรับงาน Google I/O ปีนี้ (สร้างโดยใช้ Antigravity) โดยหลักๆ แล้ว Jetpacker จะช่วยผู้ใช้วางแผน สำรวจ และสนุกกับการผจญภัยครั้งสำคัญครั้งต่อไป
Jolanda Verhoef • ใช้เวลาอ่าน 4 นาที
รับข้อมูลเชิงลึกล่าสุดเกี่ยวกับการพัฒนา Android ที่ส่งไปยังกล่องจดหมายของคุณทุกสัปดาห์