Istruzioni

Crea app per Android intelligenti: inferenza on-device

Tempo di lettura: 6 min
Visualizza il profilo di Caren Chang
Caren Chang Developer Relations Engineer

Ti diamo il bentornato alla serie di blog post "Crea app per Android intelligenti", in cui prendiamo un'app per Android di base e la trasformiamo in un'esperienza personalizzata, intelligente e agentica. Nel nostro post precedente abbiamo presentato Jetpacker, l'app demo che utilizzeremo in questa serie. 

In questo blog post, condivideremo come puoi utilizzare Gemini Nano tramite l'API Prompt di ML Kit per creare funzionalità on-device intelligenti.

La creazione di funzionalità on-device intelligenti si riferisce alla capacità di elaborare prompt e dati direttamente su un dispositivo senza inviare dati a un server. Questo approccio offre alcuni vantaggi: 

  • I dati utente possono essere elaborati localmente sul dispositivo, preservando la privacy dell'utente
  • La funzionalità del modello è affidabile anche con una connessione a internet instabile o assente
  • Nessun costo aggiuntivo per l'inferenza cloud, poiché tutto viene eseguito sull'hardware dell'utente

Tenendo presente i vantaggi dell'on-device, abbiamo identificato tre funzionalità da aggiungere a Jetpacker che possono migliorare l'esperienza utente: riepilogo degli itinerari di viaggio, gestione delle spese e acquisizione di note vocali.

Screenshot 2026-07-02 at 12.57.08 PM.png
Funzionalità on-device in Jetpacker: riepilogo degli itinerari di viaggio, gestione delle spese e note vocali.

Riassunto personalizzato di alta qualità di testi brevi

La schermata dell'itinerario offre agli utenti una rapida panoramica di tutte le attività di un determinato viaggio. Poiché questa schermata contiene molte informazioni, può diventare rapidamente difficile da consultare. Per aiutare gli utenti a prepararsi senza sentirsi sopraffatti, possiamo aggiungere una sezione "Preparati per il viaggio" in alto.

Screenshot_20260702_111934.png
Il romantico viaggio a Parigi è riassunto come una classica avventura parigina che unisce arte, attrazioni e cibo delizioso. Sono stati aggiunti anche un suggerimento e alcune frasi utili.

Inserendo l'itinerario di un viaggio e chiedendo a un LLM di riassumerlo, possiamo generare un breve riepilogo del viaggio insieme a suggerimenti per la preparazione dei bagagli e frasi utili in lingua locale. Questo è un ottimo caso d'uso per un modello on-device per diversi motivi: 

  • Prestazioni e qualità: sia il testo di input che quello di output sono relativamente brevi. Di conseguenza, possiamo aspettarci che le prestazioni e la qualità di una soluzione on-device siano alla pari di quelle dei modelli cloud più potenti.
  • Scalabilità: lo spostamento dell'inferenza on-device ci consente di scalare questa funzionalità da pochi utenti a milioni senza preoccuparci di gestire i costi crescenti dell'inferenza cloud.
  • Bassa latenza e affidabilità: l'inferenza on-device garantisce una bassa latenza, offrendo un'esperienza affidabile anche quando gli utenti sono offline.

Per creare con on-device, utilizziamo Gemini Nano, il modello di Google più efficiente ottimizzato per i dispositivi mobili. Gemini Nano è stato introdotto per la prima volta qualche anno fa e ora è in esecuzione su oltre 140 milioni di dispositivi. L'ultima versione del modello, Gemini Nano 4, si basa sull'architettura del modello Gemma 4 rilasciato di recente ed è ulteriormente ottimizzata per garantire la massima efficienza della batteria e delle prestazioni. 

Utilizzando l'API Prompt di ML Kit, possiamo sfruttare le nuove funzionalità del modello Gemini Nano 4 per creare prototipi delle nostre funzionalità on-device. Creeremo un prompt che include l'itinerario di un viaggio e chiederemo al modello di generare un riepilogo insieme a suggerimenti per la preparazione.

Per trovare il prompt ottimale, di solito è necessario eseguire alcune iterazioni e l'app AICore è perfetta per questo passaggio del processo. Dopo aver attivato l'opzione Anteprima per gli sviluppatori per AICore, possiamo scaricare modelli di anteprima come Gemini Nano 4 per testare i prompt e visualizzare gli output previsti del modello. Con alcune iterazioni sul prompt, siamo riusciti a migliorare la velocità della risposta da 13 secondi a meno di 2 secondi. Dai un'occhiata all'implementazione del codice finale e al prompt qui.

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
La prima iterazione del nostro prompt ha generato troppi token e l'ottimizzazione ha contribuito a mantenere le risposte rapide e pertinenti.

Elaborazione locale per input utente sensibili

Successivamente, per aiutare gli utenti a godersi ancora di più il viaggio, creeremo un semplice gestore delle spese che elimina il lavoro manuale di ordinamento delle ricevute e calcolo dei budget. 

Poiché le ricevute potrebbero contenere informazioni sensibili come il numero della carta di credito e gli indirizzi, questo è un altro ottimo caso d'uso per una soluzione on-device. Con l'elaborazione on-device, gli utenti possono avere la certezza che le informazioni private verranno elaborate localmente sul dispositivo, senza che i loro dati vengano inviati al cloud.

Inoltre, Gemini Nano 4 ha migliorato le funzionalità del modello per la multimodalità, in particolare per le attività di comprensione delle immagini come l'OCR e l'estrazione di dati visivi, il che lo rende un'ottima soluzione per attività come l'estrazione di informazioni dalle ricevute.

Per questo caso d'uso, il prompt analizzerà un'immagine della ricevuta e restituirà informazioni quali: un titolo generato, l'importo speso e la categoria della spesa. Per assicurarci che l'output del modello restituisca le informazioni nel formato preferito, possiamo utilizzare l'API Structured Output di ML Kit per generare senza problemi un oggetto dati Kotlin che definiamo.

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

Input multimodale

Infine, per aiutare gli utenti a registrare memo audio durante il viaggio, creiamo una funzionalità di note vocali completamente on-device. Utilizzando l'API Speech Recognition di ML Kit, consentiremo agli utenti di registrare brevi note vocali che vengono trascritte automaticamente in testo. Con il testo trascritto, utilizzeremo l'API Prompt di ML Kit per identificare l'attività di viaggio associata alla nota vocale registrata, consentendo agli utenti di riepilogare facilmente il viaggio mentre scorrono l'itinerario. 

Screenshot_20260702_115529.png
L'itinerario per le vacanze romane mostra estratti di note vocali.

L'API ML Kit GenAI Speech Recognition consente di trascrivere i contenuti audio in testo completamente on-device utilizzando due modalità distinte. La modalità di base utilizza un modello di riconoscimento vocale on-device tradizionale ed è disponibile sulla maggior parte dei dispositivi Android con livello API 31 e versioni successive. La modalità avanzata utilizza Gemini Nano per offrire una copertura linguistica più ampia e una qualità migliore ed è attualmente supportata sui dispositivi Pixel 10.

Per la nostra funzionalità, combiniamo l'API Speech Recognition con l'API GenAI Prompt di ML Kit:

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

Conclusione

Utilizzando le API di AI generativa di ML Kit, abbiamo potuto sfruttare Gemini Nano per sviluppare funzionalità intelligenti completamente on-device per l'app JetPacker e fornire un'esperienza utente migliorata senza costi aggiuntivi per il cloud.

Dai un'occhiata al codice sorgente completo di Jetpacker su GitHub e guarda il video Crea app per Android intelligenti con l'AI di Google per scoprire di più su come integrare funzionalità intelligenti direttamente nella tua app utilizzando modelli on-device, ragionamento basato sul cloud e i framework agentici più recenti.

Scopri di più

Dai un'occhiata alle altre parti di questa serie di blog post:

Parte 1: introduzione dell'app e panoramica generale.

Parte 2 (questo post): Intelligence on-device. Approfondisci le API di AI generativa di ML Kit e Gemini Nano per creare funzionalità incentrate sulla privacy, come il riepilogo degli itinerari, l'analisi delle ricevute e l'elaborazione dell'audio locale.

Parte 3: ragionamento ibrido e cloud. Scopri come utilizzare Firebase AI Logic per basare le risposte degli LLM su dati reali, come Google Maps e il contesto web.

Parte 4: integrazione dei sistemi. Integrazione con il sistema di intelligence Android utilizzando AppFunctions.

Parte 5 (disponibile a breve): Agentic Workflows in-app. Estendi l'app con un assistente per le prenotazioni end-to-end basato su A2UI e ADK.

Vuoi saperne di più sullo sviluppo Android? Segui Android Developers su YouTube o LinkedIn.

Tutti gli snippet di codice in questo blog post seguono la seguente nota sul copyright:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Scritto da:
Continua a leggere