Ti diamo il bentornato alla serie di blog post "Crea app per Android intelligenti", in cui prendiamo un'app per Android di base e la trasformiamo in un'esperienza personalizzata, intelligente e agentica. Nel nostro post precedente abbiamo presentato Jetpacker, l'app demo che utilizzeremo in questa serie.
In questo blog post, condivideremo come puoi utilizzare Gemini Nano tramite l'API Prompt di ML Kit per creare funzionalità on-device intelligenti.
La creazione di funzionalità on-device intelligenti si riferisce alla capacità di elaborare prompt e dati direttamente su un dispositivo senza inviare dati a un server. Questo approccio offre alcuni vantaggi:
- I dati utente possono essere elaborati localmente sul dispositivo, preservando la privacy dell'utente
- La funzionalità del modello è affidabile anche con una connessione a internet instabile o assente
- Nessun costo aggiuntivo per l'inferenza cloud, poiché tutto viene eseguito sull'hardware dell'utente
Tenendo presente i vantaggi dell'on-device, abbiamo identificato tre funzionalità da aggiungere a Jetpacker che possono migliorare l'esperienza utente: riepilogo degli itinerari di viaggio, gestione delle spese e acquisizione di note vocali.
Riassunto personalizzato di alta qualità di testi brevi
La schermata dell'itinerario offre agli utenti una rapida panoramica di tutte le attività di un determinato viaggio. Poiché questa schermata contiene molte informazioni, può diventare rapidamente difficile da consultare. Per aiutare gli utenti a prepararsi senza sentirsi sopraffatti, possiamo aggiungere una sezione "Preparati per il viaggio" in alto.
Inserendo l'itinerario di un viaggio e chiedendo a un LLM di riassumerlo, possiamo generare un breve riepilogo del viaggio insieme a suggerimenti per la preparazione dei bagagli e frasi utili in lingua locale. Questo è un ottimo caso d'uso per un modello on-device per diversi motivi:
- Prestazioni e qualità: sia il testo di input che quello di output sono relativamente brevi. Di conseguenza, possiamo aspettarci che le prestazioni e la qualità di una soluzione on-device siano alla pari di quelle dei modelli cloud più potenti.
- Scalabilità: lo spostamento dell'inferenza on-device ci consente di scalare questa funzionalità da pochi utenti a milioni senza preoccuparci di gestire i costi crescenti dell'inferenza cloud.
- Bassa latenza e affidabilità: l'inferenza on-device garantisce una bassa latenza, offrendo un'esperienza affidabile anche quando gli utenti sono offline.
Per creare con on-device, utilizziamo Gemini Nano, il modello di Google più efficiente ottimizzato per i dispositivi mobili. Gemini Nano è stato introdotto per la prima volta qualche anno fa e ora è in esecuzione su oltre 140 milioni di dispositivi. L'ultima versione del modello, Gemini Nano 4, si basa sull'architettura del modello Gemma 4 rilasciato di recente ed è ulteriormente ottimizzata per garantire la massima efficienza della batteria e delle prestazioni.
Utilizzando l'API Prompt di ML Kit, possiamo sfruttare le nuove funzionalità del modello Gemini Nano 4 per creare prototipi delle nostre funzionalità on-device. Creeremo un prompt che include l'itinerario di un viaggio e chiederemo al modello di generare un riepilogo insieme a suggerimenti per la preparazione.
Per trovare il prompt ottimale, di solito è necessario eseguire alcune iterazioni e l'app AICore è perfetta per questo passaggio del processo. Dopo aver attivato l'opzione Anteprima per gli sviluppatori per AICore, possiamo scaricare modelli di anteprima come Gemini Nano 4 per testare i prompt e visualizzare gli output previsti del modello. Con alcune iterazioni sul prompt, siamo riusciti a migliorare la velocità della risposta da 13 secondi a meno di 2 secondi. Dai un'occhiata all'implementazione del codice finale e al prompt qui.
Elaborazione locale per input utente sensibili
Successivamente, per aiutare gli utenti a godersi ancora di più il viaggio, creeremo un semplice gestore delle spese che elimina il lavoro manuale di ordinamento delle ricevute e calcolo dei budget.
Poiché le ricevute potrebbero contenere informazioni sensibili come il numero della carta di credito e gli indirizzi, questo è un altro ottimo caso d'uso per una soluzione on-device. Con l'elaborazione on-device, gli utenti possono avere la certezza che le informazioni private verranno elaborate localmente sul dispositivo, senza che i loro dati vengano inviati al cloud.
Inoltre, Gemini Nano 4 ha migliorato le funzionalità del modello per la multimodalità, in particolare per le attività di comprensione delle immagini come l'OCR e l'estrazione di dati visivi, il che lo rende un'ottima soluzione per attività come l'estrazione di informazioni dalle ricevute.
Per questo caso d'uso, il prompt analizzerà un'immagine della ricevuta e restituirà informazioni quali: un titolo generato, l'importo speso e la categoria della spesa. Per assicurarci che l'output del modello restituisca le informazioni nel formato preferito, possiamo utilizzare l'API Structured Output di ML Kit per generare senza problemi un oggetto dati Kotlin che definiamo.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseInput multimodale
Infine, per aiutare gli utenti a registrare memo audio durante il viaggio, creiamo una funzionalità di note vocali completamente on-device. Utilizzando l'API Speech Recognition di ML Kit, consentiremo agli utenti di registrare brevi note vocali che vengono trascritte automaticamente in testo. Con il testo trascritto, utilizzeremo l'API Prompt di ML Kit per identificare l'attività di viaggio associata alla nota vocale registrata, consentendo agli utenti di riepilogare facilmente il viaggio mentre scorrono l'itinerario.
L'API ML Kit GenAI Speech Recognition consente di trascrivere i contenuti audio in testo completamente on-device utilizzando due modalità distinte. La modalità di base utilizza un modello di riconoscimento vocale on-device tradizionale ed è disponibile sulla maggior parte dei dispositivi Android con livello API 31 e versioni successive. La modalità avanzata utilizza Gemini Nano per offrire una copertura linguistica più ampia e una qualità migliore ed è attualmente supportata sui dispositivi Pixel 10.
Per la nostra funzionalità, combiniamo l'API Speech Recognition con l'API GenAI Prompt di ML Kit:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}Conclusione
Utilizzando le API di AI generativa di ML Kit, abbiamo potuto sfruttare Gemini Nano per sviluppare funzionalità intelligenti completamente on-device per l'app JetPacker e fornire un'esperienza utente migliorata senza costi aggiuntivi per il cloud.
Dai un'occhiata al codice sorgente completo di Jetpacker su GitHub e guarda il video Crea app per Android intelligenti con l'AI di Google per scoprire di più su come integrare funzionalità intelligenti direttamente nella tua app utilizzando modelli on-device, ragionamento basato sul cloud e i framework agentici più recenti.
Scopri di più
Dai un'occhiata alle altre parti di questa serie di blog post:
Parte 1: introduzione dell'app e panoramica generale.
Parte 2 (questo post): Intelligence on-device. Approfondisci le API di AI generativa di ML Kit e Gemini Nano per creare funzionalità incentrate sulla privacy, come il riepilogo degli itinerari, l'analisi delle ricevute e l'elaborazione dell'audio locale.
Parte 3: ragionamento ibrido e cloud. Scopri come utilizzare Firebase AI Logic per basare le risposte degli LLM su dati reali, come Google Maps e il contesto web.
Parte 4: integrazione dei sistemi. Integrazione con il sistema di intelligence Android utilizzando AppFunctions.
Parte 5 (disponibile a breve): Agentic Workflows in-app. Estendi l'app con un assistente per le prenotazioni end-to-end basato su A2UI e ADK.
Vuoi saperne di più sullo sviluppo Android? Segui Android Developers su YouTube o LinkedIn.
Tutti gli snippet di codice in questo blog post seguono la seguente nota sul copyright:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
IstruzioniTi diamo il bentornato alla serie di blog post "Crea app per Android intelligenti", in cui prendiamo un'app per Android di base e la trasformiamo in un'esperienza personalizzata, intelligente e basata su agenti.
Thomas Ezan, Jolanda Verhoef, Caren Chang • Tempo di lettura: 8 min -
IstruzioniTi diamo il bentornato alla serie di blog post "Crea app per Android intelligenti", in cui prendi un'app per Android di base e la trasformi in un'esperienza personalizzata, intelligente e agentica. Nel nostro post precedente hai imparato a connetterti al sistema di intelligence utilizzando AppFunctions.
Jolanda Verhoef • Tempo di lettura: 9 min -
IstruzioniJetpacker è un'app di presentazione tecnica che il nostro team ha creato da zero per il Google I/O di quest'anno (utilizzando Antigravity). In sostanza, Jetpacker aiuta gli utenti a pianificare, esplorare e godersi la loro prossima grande avventura.
Jolanda Verhoef • Tempo di lettura: 4 min
Ricevi gli ultimi approfondimenti sullo sviluppo Android direttamente nella tua casella di posta ogni settimana.