Selamat datang kembali di rangkaian postingan blog "Membangun aplikasi Android yang cerdas". Di sini, kita akan mengambil aplikasi Android dasar dan mengubahnya menjadi pengalaman yang dipersonalisasi, cerdas, dan agentic. Dalam postingan sebelumnya, kami memperkenalkan Jetpacker, aplikasi demo yang akan kami gunakan di sepanjang seri ini.
Dalam postingan blog ini, kami akan membagikan cara menggunakan Gemini Nano melalui Prompt API ML Kit untuk membangun fitur cerdas di perangkat.
Membangun fitur cerdas di perangkat mengacu pada kemampuan untuk memproses perintah dan data langsung di perangkat tanpa mengirim data ke server. Hal ini memberikan beberapa keuntungan:
- Data pengguna dapat diproses secara lokal di perangkat, sehingga menjaga privasi pengguna
- Fungsi model dapat diandalkan bahkan dengan koneksi internet yang buruk atau tanpa koneksi internet
- Tidak ada biaya inferensi cloud tambahan, karena semuanya berjalan di hardware pengguna
Dengan mempertimbangkan manfaat di perangkat, kami mengidentifikasi tiga fitur yang dapat ditambahkan di Jetpacker untuk meningkatkan pengalaman pengguna: meringkas itinerari perjalanan, mengelola pengeluaran, dan merekam catatan suara.
Ringkasan teks pendek yang disesuaikan dan berkualitas tinggi
Layar itinerari memberi pengguna ringkasan singkat tentang semua aktivitas untuk perjalanan tertentu. Karena layar ini berisi banyak informasi, layar ini dapat dengan cepat membuat Anda kewalahan. Untuk membantu pengguna bersiap tanpa merasa kewalahan, kita dapat menambahkan bagian ‘Bersiap untuk perjalanan Anda’ di bagian atas.
Dengan memasukkan itinerari perjalanan dan meminta LLM untuk meringkasnya, kita dapat membuat ringkasan singkat perjalanan beserta tips berkemas dan frasa lokal yang berguna. Ini adalah kasus penggunaan yang bagus untuk model di perangkat karena beberapa alasan:
- Performa dan kualitas: Teks input dan output relatif singkat. Dengan demikian, kita dapat mengharapkan performa dan kualitas solusi di perangkat setara dengan model cloud yang lebih canggih.
- Skalabilitas: Mengalihkan inferensi di perangkat memungkinkan kami menskalakan fitur ini dari beberapa pengguna menjadi jutaan pengguna tanpa perlu khawatir mengelola biaya inferensi cloud yang meningkat.
- Latensi rendah dan keandalan: Inferensi di perangkat menjamin latensi rendah, sehingga memberikan pengalaman yang andal bahkan saat pengguna offline.
Untuk membangun dengan AI di perangkat, kami menggunakan Gemini Nano, model Google paling efisien yang dioptimalkan untuk perangkat seluler. Gemini Nano pertama kali diperkenalkan beberapa tahun lalu, dan kini berjalan di lebih dari 140 juta perangkat. Versi terbaru model ini, Gemini Nano 4, dibangun di atas fondasi arsitektur model Gemma 4 yang baru dirilis, dan dioptimalkan lebih lanjut untuk efisiensi baterai dan performa maksimum.
Dengan menggunakan Prompt API ML Kit, kita dapat memanfaatkan kemampuan model baru Gemini Nano 4 untuk membuat prototipe fitur di perangkat. Kita akan membuat perintah yang menyertakan itinerari perjalanan dan meminta model untuk membuat ringkasan beserta tips persiapan.
Menemukan perintah yang optimal biasanya memerlukan beberapa iterasi, dan aplikasi AICore sangat cocok untuk langkah ini dalam prosesnya. Setelah memilih opsi pratinjau developer untuk AICore, kita dapat mendownload model pratinjau seperti Gemini Nano 4 untuk menguji perintah dan melihat output yang diharapkan dari model. Dengan beberapa iterasi pada perintah, kami dapat meningkatkan kecepatan respons dari 13 detik menjadi kurang dari 2 detik. Lihat penerapan kode akhir dan perintahnya di sini.
Pemrosesan lokal untuk input pengguna yang sensitif
Selanjutnya, untuk membantu pengguna lebih menikmati perjalanan mereka, kita akan membuat pengelola pengeluaran sederhana yang menghilangkan pekerjaan manual dalam menyortir tanda terima dan menghitung anggaran.
Karena tanda terima mungkin berisi informasi sensitif seperti nomor kartu kredit dan alamat, ini adalah kasus penggunaan yang bagus untuk solusi di perangkat. Dengan pemrosesan di perangkat, pengguna dapat yakin bahwa informasi pribadi akan diproses secara lokal di perangkat tanpa ada data mereka yang dikirim ke cloud.
Selain itu, Gemini Nano 4 telah meningkatkan kemampuan model untuk multimodalitas, terutama untuk tugas pemahaman gambar seperti OCR dan ekstraksi data visual, sehingga menjadikannya solusi yang bagus untuk tugas seperti mengekstrak informasi dari tanda terima.
Untuk kasus penggunaan ini, perintah akan menganalisis gambar tanda terima, dan menampilkan informasi seperti: judul yang dihasilkan, jumlah yang dibelanjakan, dan kategori pengeluaran. Untuk memastikan model menghasilkan informasi dalam format yang diinginkan, kita dapat menggunakan Structured Output API ML Kit untuk menghasilkan objek data Kotlin yang kita tentukan dengan lancar.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseInput multimodal
Terakhir, untuk membantu pengguna merekam memo audio selama perjalanan, mari kita buat fitur catatan suara yang sepenuhnya berjalan di perangkat. Dengan Speech Recognition API ML Kit, kita akan memungkinkan pengguna merekam catatan suara singkat yang otomatis ditranskripsikan menjadi teks. Dengan teks yang ditranskripsikan, kami akan menggunakan Prompt API ML Kit untuk mengidentifikasi aktivitas perjalanan yang terkait dengan catatan suara yang direkam, sehingga pengguna dapat dengan mudah merangkum perjalanan mereka saat men-scroll itinerari perjalanan.
ML Kit GenAI Speech Recognition API memungkinkan Anda mentranskripsikan konten audio menjadi teks sepenuhnya di perangkat menggunakan dua mode berbeda. Mode dasar menggunakan model pengenalan ucapan di perangkat tradisional dan tersedia di sebagian besar perangkat Android dengan API level 31 dan yang lebih tinggi. Mode lanjutan menggunakan Gemini Nano untuk menawarkan cakupan bahasa yang lebih luas dan kualitas yang lebih baik, dan saat ini didukung di perangkat Pixel 10.
Untuk fitur kami, kami menggabungkan Speech Recognition API dengan ML Kit GenAI Prompt API:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}Kesimpulan
Dengan menggunakan API GenAI ML Kit, kami dapat memanfaatkan Gemini Nano untuk mengembangkan fitur cerdas yang sepenuhnya berjalan di perangkat untuk aplikasi JetPacker, dan memberikan pengalaman pengguna yang lebih baik tanpa biaya cloud tambahan.
Lihat kode sumber lengkap untuk Jetpacker di GitHub, dan tonton video Membangun aplikasi Android Cerdas dengan AI Google untuk mempelajari lebih lanjut cara mengintegrasikan fitur cerdas langsung ke aplikasi Anda menggunakan model di perangkat, penalaran yang didukung cloud, dan framework agen terbaru.
Pelajari lebih lanjut
Lihat bagian lain dari rangkaian postingan blog ini:
Bagian 1: Pengantar aplikasi dan ringkasan umum.
Bagian 2 (postingan ini!): Kecerdasan di perangkat. Pelajari lebih dalam API GenAI ML Kit dan Gemini Nano untuk membangun fitur yang mengutamakan privasi seperti pembuatan ringkasan itinerari, penguraian tanda terima, dan pemrosesan audio lokal.
Bagian 3: Penalaran hybrid dan cloud. Pelajari cara menggunakan Firebase AI Logic untuk melakukan grounding jawaban LLM dalam data dunia nyata seperti Google Maps dan konteks web.
Bagian 4: Integrasi sistem. Melakukan integrasi dengan sistem kecerdasan Android menggunakan AppFunctions.
Bagian 5 (segera hadir): Agentic Workflows dalam aplikasi. Perluas aplikasi dengan asisten pemesanan menyeluruh yang didukung oleh A2UI dan ADK.
Tertarik untuk mempelajari lebih lanjut Pengembangan Android? Ikuti Android Developers di YouTube atau LinkedIn.
Semua cuplikan kode dalam postingan blog ini mengikuti pemberitahuan hak cipta berikut:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
PetunjukSelamat datang kembali di rangkaian postingan blog "Membangun aplikasi Android yang cerdas". Di sini, kita akan mengubah aplikasi Android dasar menjadi pengalaman yang dipersonalisasi, cerdas, dan agentic.
Thomas Ezan, Jolanda Verhoef, Caren Chang • Waktu baca: 8 menit -
PetunjukSelamat datang kembali di rangkaian postingan blog "Membangun aplikasi Android yang cerdas". Di sini, Anda akan mengubah aplikasi Android dasar menjadi pengalaman yang dipersonalisasi, cerdas, dan agentic. Dalam postingan sebelumnya, Anda telah mempelajari cara terhubung ke sistem kecerdasan menggunakan AppFunctions.
Jolanda Verhoef • Waktu baca: 9 menit -
PetunjukJetpacker adalah aplikasi showcase teknis yang dibuat tim kami dari awal untuk Google I/O tahun ini (dibangun menggunakan Antigravity). Pada intinya, Jetpacker membantu pengguna merencanakan, menjelajahi, dan menikmati petualangan besar mereka berikutnya.
Jolanda Verhoef • Waktu baca: 4 menit
Dapatkan insight pengembangan Android terbaru yang dikirim ke kotak masuk Anda setiap minggu.