Tutoriels

Créer des applications Android intelligentes : inférence sur l'appareil

Temps de lecture : 6 min
Voir le profil de Caren Chang
Caren Chang Ingénieur Developer Relations

Bienvenue dans la série d'articles de blog "Créer des applications Android intelligentes", dans laquelle nous prenons une application Android de base et la transformons en une expérience personnalisée, intelligente et agentique. Dans notre article précédent, nous avons présenté Jetpacker, l'application de démonstration que nous utiliserons tout au long de cette série. 

Dans cet article de blog, nous allons vous expliquer comment utiliser Gemini Nano via l'API Prompt de ML Kit pour créer des fonctionnalités intelligentes sur l'appareil.

La création de fonctionnalités intelligentes sur l'appareil fait référence à la capacité de traiter des requêtes et des données directement sur un appareil sans envoyer de données à un serveur. Cela présente plusieurs avantages : 

  • Les données utilisateur peuvent être traitées localement sur l'appareil, ce qui préserve la confidentialité des utilisateurs.
  • Le modèle est fiable, même avec une connexion Internet instable ou inexistante.
  • Aucun coût d'inférence cloud supplémentaire, car tout s'exécute sur le matériel de l'utilisateur

En gardant à l'esprit les avantages de l'IA sur l'appareil, nous avons identifié trois fonctionnalités à ajouter à Jetpacker pour améliorer l'expérience utilisateur : résumer les itinéraires de voyage, gérer les dépenses et enregistrer des notes vocales.

Screenshot 2026-07-02 at 12.57.08 PM.png
Fonctionnalités sur l'appareil dans Jetpacker : résumer les itinéraires de voyage, gérer les dépenses et prendre des notes vocales.

Résumé personnalisé de haute qualité de textes courts

L'écran de l'itinéraire offre aux utilisateurs un aperçu rapide de toutes les activités d'un voyage donné. Comme cet écran contient beaucoup d'informations, il peut rapidement devenir difficile à lire. Pour aider les utilisateurs à se préparer sans se sentir submergés, nous pouvons ajouter une section Préparez votre voyage en haut de la page.

Screenshot_20260702_111934.png
Le voyage romantique à Paris est résumé comme une aventure parisienne classique mêlant art, visites et gastronomie. Une astuce et quelques expressions utiles sont également ajoutées.

En saisissant l'itinéraire d'un voyage et en demandant à un LLM de le résumer, nous pouvons générer un résumé rapide du voyage, ainsi que des conseils pour faire ses bagages et des phrases utiles dans la langue locale. Il s'agit d'un excellent cas d'utilisation pour un modèle sur l'appareil, pour plusieurs raisons : 

  • Performances et qualité : les textes d'entrée et de sortie sont relativement courts. Ainsi, nous pouvons nous attendre à ce que les performances et la qualité d'une solution sur l'appareil soient comparables à celles de modèles cloud plus puissants.
  • Évolutivité : le déplacement de l'inférence sur l'appareil nous permet de faire évoluer cette fonctionnalité de quelques utilisateurs à des millions, sans avoir à nous soucier de la gestion des coûts croissants d'inférence cloud.
  • Faible latence et fiabilité : l'inférence sur l'appareil garantit une faible latence, offrant une expérience fiable même lorsque les utilisateurs sont hors connexion.

Pour créer des applications sur l'appareil, nous utilisons Gemini Nano, le modèle le plus efficace de Google optimisé pour les appareils mobiles. Gemini Nano a été lancé il y a quelques années et fonctionne désormais sur plus de 140 millions d'appareils. La dernière version du modèle, Gemini Nano 4, repose sur l'architecture du modèle Gemma 4 récemment lancé. Elle est optimisée pour offrir une efficacité maximale en termes de batterie et de performances. 

Grâce à l'API Prompt de ML Kit, nous pouvons exploiter les nouvelles fonctionnalités du modèle Gemini Nano 4 pour prototyper nos fonctionnalités sur l'appareil. Nous allons créer un prompt qui inclut l'itinéraire d'un voyage et demander au modèle de générer un résumé ainsi que des conseils de préparation.

Trouver la requête optimale nécessite généralement quelques itérations, et l'application AICore est parfaite pour cette étape du processus. Après avoir activé l'option Preview développeur pour AICore, nous pouvons télécharger des modèles en preview tels que Gemini Nano 4 pour tester des requêtes et voir les résultats attendus du modèle. En modifiant légèrement la requête, nous avons pu réduire le temps de réponse de 13 secondes à moins de 2 secondes. Découvrez l'implémentation finale du code et du prompt ici.

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
La première itération de notre requête a généré beaucoup trop de jetons. En l'optimisant, nous avons pu obtenir des réponses rapides et pertinentes.

Traitement local des entrées utilisateur sensibles

Ensuite, pour aider les utilisateurs à profiter encore plus de leur voyage, nous allons créer un gestionnaire de dépenses simple qui élimine le travail manuel de tri des reçus et de calcul des budgets. 

Comme les reçus peuvent contenir des informations sensibles telles que des numéros de carte de crédit et des adresses, il s'agit d'un autre cas d'utilisation idéal pour une solution sur l'appareil. Grâce au traitement sur l'appareil, les utilisateurs peuvent être sûrs que leurs informations privées seront traitées localement sur l'appareil, sans qu'aucune de leurs données ne soit envoyée dans le cloud.

De plus, Gemini Nano 4 offre des capacités de modèle améliorées pour la multimodalité, en particulier pour les tâches de compréhension d'images telles que l'OCR et l'extraction de données visuelles. C'est donc une excellente solution pour des tâches telles que l'extraction d'informations à partir de reçus.

Pour ce cas d'utilisation, le prompt analysera une image du reçu et affichera des informations telles qu'un titre généré, le montant dépensé et la catégorie de la dépense. Pour nous assurer que le modèle génère les informations dans le format souhaité, nous pouvons utiliser l'API Structured Output de ML Kit afin de générer de manière fluide un objet de données Kotlin que nous définissons.

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

Requêtes multimodales

Enfin, pour aider les utilisateurs à enregistrer des mémos audio pendant le voyage, nous allons créer une fonctionnalité de notes vocales entièrement sur l'appareil. Grâce à l'API Speech Recognition de ML Kit, nous permettrons aux utilisateurs d'enregistrer de courtes notes vocales qui seront automatiquement transcrites en texte. À l'aide du texte transcrit, nous utiliserons l'API Prompt de ML Kit pour identifier l'activité associée à la note vocale enregistrée. Les utilisateurs pourront ainsi facilement récapituler leur voyage en faisant défiler l'itinéraire. 

Screenshot_20260702_115529.png
L'itinéraire de vacances à Rome affiche des extraits de notes vocales.

L'API ML Kit GenAI Speech Recognition vous permet de transcrire du contenu audio en texte entièrement sur l'appareil à l'aide de deux modes distincts. Le mode de base utilise un modèle de reconnaissance vocale traditionnel sur l'appareil et est disponible sur la plupart des appareils Android avec le niveau d'API 31 ou supérieur. Le mode avancé utilise Gemini Nano pour offrir une couverture linguistique plus large et une meilleure qualité. Il est actuellement compatible avec les appareils Pixel 10.

Pour notre fonctionnalité, nous combinons l'API Speech Recognition avec l'API Prompt de l'IA générative de ML Kit :

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

Conclusion

Grâce aux API d'IA générative de ML Kit, nous avons pu exploiter Gemini Nano pour développer des fonctionnalités intelligentes entièrement exécutées sur l'appareil pour l'application JetPacker, et offrir une meilleure expérience utilisateur sans frais de cloud supplémentaires.

Consultez le code source complet de Jetpacker sur GitHub et regardez la vidéo Créer des applications Android intelligentes avec l'IA de Google pour découvrir comment intégrer des fonctionnalités intelligentes directement dans votre application à l'aide de modèles sur l'appareil, du raisonnement basé sur le cloud et des derniers frameworks d'agents.

En savoir plus

Consultez les autres parties de cette série d'articles de blog :

Partie 1 : présentation de l'application et vue d'ensemble.

Partie 2 (cet article) : Intelligence sur l'appareil Découvrez en détail les API d'IA générative de ML Kit et Gemini Nano pour créer des fonctionnalités axées sur la confidentialité, comme la synthèse d'itinéraires, l'analyse de reçus et le traitement audio local.

Partie 3 : Raisonnement hybride et cloud. Découvrez comment utiliser Firebase AI Logic pour ancrer les réponses des LLM dans des données réelles, comme Google Maps et le contexte Web.

Partie 4 : Intégration du système. Intégrer au système d'intelligence Android à l'aide d'AppFunctions.

Partie 5 (bientôt disponible) : Workflows agentiques intégrés à l'application. Étendre l'application avec un assistant de réservation de bout en bout optimisé par A2UI et ADK.

Vous souhaitez en savoir plus sur le développement Android ? Suivez Développeurs Android sur YouTube ou LinkedIn.

Tous les extraits de code de cet article de blog sont soumis à l'avis de droits d'auteur suivant :

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Écrit par :
Continuer la lecture