วิธีการ

สร้างแอป Android อัจฉริยะ: การอนุมานในอุปกรณ์

ใช้เวลาอ่าน 6 นาที
ดูโปรไฟล์ของ Caren Chang
Caren Chang วิศวกรนักพัฒนาซอฟต์แวร์สัมพันธ์

ยินดีต้อนรับกลับสู่ชุดบล็อกโพสต์ "สร้างแอป Android อัจฉริยะ" ซึ่งเราจะนำแอป Android พื้นฐานมาเปลี่ยนให้เป็นประสบการณ์การใช้งานที่ปรับเปลี่ยนในแบบของคุณ อัจฉริยะ และใช้ Agent ในโพสต์ก่อนหน้านี้ เราได้แนะนำ Jetpacker ซึ่งเป็นแอปสาธิตที่เราจะใช้ตลอดซีรีส์นี้ 

ในบล็อกโพสต์นี้ เราจะแชร์วิธีใช้ Gemini Nano ผ่าน Prompt API ของ ML Kit เพื่อสร้างฟีเจอร์อัจฉริยะในอุปกรณ์

การสร้างฟีเจอร์อัจฉริยะในอุปกรณ์หมายถึงความสามารถในการประมวลผลพรอมต์และข้อมูลในอุปกรณ์โดยตรงโดยไม่ต้องส่งข้อมูลไปยังเซิร์ฟเวอร์ ซึ่งมีข้อดีหลายประการ ดังนี้ 

  • ข้อมูลผู้ใช้สามารถประมวลผลในเครื่องบนอุปกรณ์ได้ ซึ่งจะช่วยรักษาความเป็นส่วนตัวของผู้ใช้
  • ฟังก์ชันการทำงานของโมเดลเชื่อถือได้แม้จะมีการเชื่อมต่ออินเทอร์เน็ตที่ไม่เสถียรหรือไม่มีการเชื่อมต่ออินเทอร์เน็ต
  • ไม่มีค่าใช้จ่ายในการอนุมานบนระบบคลาวด์เพิ่มเติม เนื่องจากทุกอย่างทำงานบนฮาร์ดแวร์ของผู้ใช้

เมื่อคำนึงถึงประโยชน์ของการประมวลผลในอุปกรณ์ เราจึงระบุฟีเจอร์ 3 อย่างที่จะเพิ่มลงใน Jetpacker ซึ่งจะช่วยปรับปรุงประสบการณ์ของผู้ใช้ ได้แก่ การสรุปแผนการเดินทาง การจัดการค่าใช้จ่าย และการบันทึกเสียง

Screenshot 2026-07-02 at 12.57.08 PM.png
ฟีเจอร์ในอุปกรณ์ใน Jetpacker: การสรุปแผนการเดินทาง การจัดการค่าใช้จ่าย และบันทึกเสียง

การสรุปข้อความสั้นๆ ที่ปรับแต่งมาอย่างดีและมีคุณภาพสูง

หน้าจอแผนการเดินทางจะแสดงภาพรวมคร่าวๆ ของกิจกรรมทั้งหมดสำหรับการเดินทางหนึ่งๆ ให้ผู้ใช้เห็น เนื่องจากหน้าจอนี้มีข้อมูลจำนวนมาก คุณจึงอาจรู้สึกว่ามีข้อมูลมากเกินไปอย่างรวดเร็ว เราสามารถเพิ่มส่วน "เตรียมพร้อมสำหรับการเดินทาง" ไว้ที่ด้านบนเพื่อช่วยให้ผู้ใช้เตรียมตัวได้โดยไม่รู้สึกว่ามีข้อมูลมากเกินไป

Screenshot_20260702_111934.png
ทริปสุดโรแมนติกในปารีสสรุปได้ว่าเป็นการผจญภัยสไตล์ปารีสสุดคลาสสิกที่ผสมผสานศิลปะ สถานที่ท่องเที่ยว และอาหารแสนอร่อย รวมถึงเพิ่มเคล็ดลับและวลีที่เป็นประโยชน์บางส่วนด้วย

การป้อนแผนการเดินทางและขอให้ LLM สรุปข้อมูลจะช่วยให้เราสร้างข้อมูลสรุปสั้นๆ ของการเดินทาง พร้อมเคล็ดลับการจัดกระเป๋าและวลีท้องถิ่นที่เป็นประโยชน์ได้ นี่เป็นกรณีการใช้งานที่ยอดเยี่ยมสำหรับโมเดลในอุปกรณ์ด้วยเหตุผลหลายประการ ดังนี้ 

  • ประสิทธิภาพและคุณภาพ: ทั้งข้อความอินพุตและเอาต์พุตค่อนข้างสั้น ด้วยเหตุนี้ เราจึงคาดหวังได้ว่าประสิทธิภาพและคุณภาพของโซลูชันในอุปกรณ์จะเทียบเท่ากับโมเดลระบบคลาวด์ที่มีประสิทธิภาพมากกว่า
  • ความสามารถในการปรับขนาด: การเปลี่ยนการอนุมานในอุปกรณ์ช่วยให้เราปรับขนาดฟีเจอร์นี้จากผู้ใช้ไม่กี่รายเป็นหลายล้านรายได้โดยไม่ต้องกังวลเกี่ยวกับการจัดการต้นทุนการอนุมานในระบบคลาวด์ที่เพิ่มขึ้น
  • เวลาในการตอบสนองต่ำและความน่าเชื่อถือ: การอนุมานในอุปกรณ์รับประกันเวลาในการตอบสนองต่ำ ซึ่งจะมอบประสบการณ์ที่เชื่อถือได้แม้ว่าผู้ใช้จะออฟไลน์อยู่ก็ตาม

ในการสร้างด้วยโมเดลในอุปกรณ์ เราใช้ Gemini Nano ซึ่งเป็นโมเดลที่มีประสิทธิภาพมากที่สุดของ Google ที่เพิ่มประสิทธิภาพสำหรับมือถือ Gemini Nano เปิดตัวครั้งแรกเมื่อไม่กี่ปีที่ผ่านมา และตอนนี้กำลังทำงานบนอุปกรณ์มากกว่า 140 ล้านเครื่อง โมเดลเวอร์ชันล่าสุดอย่าง Gemini Nano 4 สร้างขึ้นบนสถาปัตยกรรมพื้นฐานของโมเดล Gemma 4 ที่เพิ่งเปิดตัว และได้รับการเพิ่มประสิทธิภาพเพิ่มเติมเพื่อประสิทธิภาพแบตเตอรี่และการทำงานสูงสุด 

การใช้ Prompt API ของ ML Kit ช่วยให้เราใช้ประโยชน์จากความสามารถของโมเดลใหม่ของ Gemini Nano 4 เพื่อสร้างต้นแบบฟีเจอร์ในอุปกรณ์ได้ เราจะสร้างพรอมต์ที่มีแผนการเดินทางและขอให้โมเดลสร้างสรุปพร้อมเคล็ดลับการเตรียมตัว

การค้นหาพรอมต์ที่เหมาะสมที่สุดมักต้องมีการทำซ้ำ และแอป AICore ก็เหมาะอย่างยิ่งสำหรับขั้นตอนนี้ในกระบวนการ หลังจากเลือกใช้ตัวเลือกเวอร์ชันตัวอย่างสำหรับนักพัฒนาซอฟต์แวร์ของ AICore แล้ว เราจะดาวน์โหลดโมเดลเวอร์ชันตัวอย่าง เช่น Gemini Nano 4 เพื่อทดสอบพรอมต์และดูเอาต์พุตที่คาดไว้ของโมเดลได้ การปรับแต่งพรอมต์เพียงไม่กี่ครั้งช่วยให้เราปรับปรุงความเร็วในการตอบกลับจาก 13 วินาทีให้เหลือไม่ถึง 2 วินาทีได้ ดูการติดตั้งใช้งานโค้ดและพรอมต์ขั้นสุดท้ายได้ที่นี่

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
การทำซ้ำครั้งแรกของพรอมต์ของเราสร้างโทเค็นมากเกินไป และการเพิ่มประสิทธิภาพช่วยให้คำตอบรวดเร็วและตรงประเด็น

การประมวลผลข้อมูลที่ละเอียดอ่อนที่ผู้ใช้ป้อนในเครื่อง

ถัดไป เพื่อช่วยให้ผู้ใช้เพลิดเพลินกับการเดินทางมากยิ่งขึ้น เราจะสร้างเครื่องมือจัดการค่าใช้จ่ายที่เรียบง่ายซึ่งจะช่วยลดภาระงานในการจัดเรียงใบเสร็จและคำนวณงบประมาณ 

เนื่องจากใบเสร็จอาจมีข้อมูลที่ละเอียดอ่อน เช่น หมายเลขบัตรเครดิตและที่อยู่ จึงเป็นอีกหนึ่ง Use Case ที่ยอดเยี่ยมสำหรับโซลูชันในอุปกรณ์ เมื่อใช้โมเดลในอุปกรณ์ ผู้ใช้จะมั่นใจได้ว่าระบบจะประมวลผลข้อมูลส่วนตัวในอุปกรณ์โดยไม่มีการส่งข้อมูลไปยังระบบคลาวด์

นอกจากนี้ Gemini Nano 4 ยังมีความสามารถของโมเดลที่ได้รับการปรับปรุงสำหรับการทำงานแบบหลายรูปแบบ โดยเฉพาะอย่างยิ่งสำหรับงานด้านการทำความเข้าใจรูปภาพ เช่น OCR และการดึงข้อมูลภาพ จึงเป็นโซลูชันที่ยอดเยี่ยมสำหรับงานต่างๆ เช่น การดึงข้อมูลจากใบเสร็จ

สำหรับ Use Case นี้ พรอมต์จะวิเคราะห์รูปภาพใบเสร็จ และแสดงข้อมูล เช่น ชื่อที่สร้างขึ้น จำนวนเงินที่ใช้จ่าย และหมวดหมู่ของค่าใช้จ่าย เพื่อให้เอาต์พุตโมเดลแสดงข้อมูลในรูปแบบที่ต้องการ เราสามารถใช้ Structured Output API ของ ML Kit เพื่อแสดงออบเจ็กต์ข้อมูล Kotlin ที่เรากำหนดได้อย่างราบรื่น

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

อินพุตหลายรูปแบบ

สุดท้าย เพื่อช่วยให้ผู้ใช้บันทึกเสียงช่วยจำระหว่างการเดินทางได้ เรามาสร้างฟีเจอร์บันทึกเสียงในอุปกรณ์กัน เราจะใช้ Speech Recognition API ของ ML Kit เพื่อให้ผู้ใช้บันทึกโน้ตเสียงสั้นๆ ที่จะถอดเสียงเป็นข้อความโดยอัตโนมัติ เมื่อได้ข้อความที่ถอดเสียงแล้ว เราจะใช้ Prompt API ของ ML Kit เพื่อระบุว่ากิจกรรมการเดินทางใดเชื่อมโยงกับบันทึกเสียงที่บันทึกไว้ ซึ่งจะช่วยให้ผู้ใช้สรุปการเดินทางได้อย่างง่ายดายขณะเลื่อนดูแผนการเดินทาง 

Screenshot_20260702_115529.png
แผนการเดินทางช่วงวันหยุดในกรุงโรมแสดงข้อความที่ตัดตอนมาจากบันทึกเสียง

ML Kit GenAI Speech Recognition API ช่วยให้คุณถอดเสียงเนื้อหาเป็นข้อความในอุปกรณ์ได้อย่างสมบูรณ์โดยใช้ 2 โหมดที่แตกต่างกัน โหมดพื้นฐานใช้โมเดลการจดจำเสียงพูดในอุปกรณ์แบบดั้งเดิม และพร้อมใช้งานในอุปกรณ์ Android ส่วนใหญ่ที่มีระดับ API 31 ขึ้นไป โหมดขั้นสูงใช้ Gemini Nano เพื่อให้ครอบคลุมภาษาได้กว้างขึ้นและมีคุณภาพดีขึ้น โดยปัจจุบันรองรับในอุปกรณ์ Pixel 10

สำหรับฟีเจอร์ของเรา เราได้รวม Speech Recognition API เข้ากับ ML Kit GenAI Prompt API ดังนี้

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

บทสรุป

การใช้ GenAI API ของ ML Kit ช่วยให้เราใช้ประโยชน์จาก Gemini Nano เพื่อพัฒนาฟีเจอร์อัจฉริยะในอุปกรณ์ทั้งหมดสำหรับแอป JetPacker และมอบประสบการณ์ของผู้ใช้ที่ดียิ่งขึ้นโดยไม่มีค่าใช้จ่ายเพิ่มเติมสำหรับระบบคลาวด์

ดูซอร์สโค้ดทั้งหมดของ Jetpacker ใน GitHub และดูวิดีโอสร้างแอป Android อัจฉริยะด้วย AI ของ Google เพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีผสานรวมฟีเจอร์อัจฉริยะลงในแอปโดยตรงโดยใช้โมเดลในอุปกรณ์ การให้เหตุผลที่ทำงานในระบบคลาวด์ และเฟรมเวิร์กแบบ Agentic ล่าสุด

ดูข้อมูลเพิ่มเติม

ดูส่วนอื่นๆ ของซีรีส์บล็อกโพสต์นี้ได้ที่

ส่วนที่ 1: ข้อมูลเบื้องต้นเกี่ยวกับแอปและภาพรวมระดับสูง

ส่วนที่ 2 (โพสต์นี้) ความชาญฉลาดในอุปกรณ์ เจาะลึก GenAI API ของ ML Kit และ Gemini Nano เพื่อสร้างฟีเจอร์ที่ให้ความสำคัญกับความเป็นส่วนตัวเป็นอันดับแรก เช่น การสรุปแผนการเดินทาง การแยกวิเคราะห์ใบเสร็จ และการประมวลผลเสียงในเครื่อง

ส่วนที่ 3: การให้เหตุผลเกี่ยวกับระบบไฮบริดและระบบคลาวด์ สำรวจวิธีใช้ Firebase AI Logic เพื่ออิงคำตอบของ LLM ตามข้อมูลในชีวิตจริง เช่น Google Maps และบริบทของเว็บ

ส่วนที่ 4: การผสานรวมระบบ การผสานรวมกับระบบอัจฉริยะของ Android โดยใช้ AppFunctions

ส่วนที่ 5 (เร็วๆ นี้): เวิร์กโฟลว์ที่ใช้ Agent ในแอป ขยายขีดความสามารถของแอปด้วยผู้ช่วยการจองแบบครบวงจรที่ทำงานด้วย A2UI และ ADK

หากสนใจดูข้อมูลเพิ่มเติมเกี่ยวกับการพัฒนา Android ติดตามนักพัฒนาแอป Android บน YouTube หรือ LinkedIn

ข้อมูลโค้ดทั้งหมดในบล็อกโพสต์นี้เป็นไปตามการแจ้งเตือนลิขสิทธิ์ต่อไปนี้

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
เขียนโดย
อ่านต่อ