Instruções

Crie apps Android inteligentes: inferência no dispositivo

Leitura de 6 min
Ver o perfil de Caren Chang
Caren Chang Engenheiro de relações com desenvolvedores

Voltamos com a série de postagens do blog "Criar apps Android inteligentes", em que pegamos um app Android básico e o transformamos em uma experiência personalizada, inteligente e agêntica. No post anterior, apresentamos o Jetpacker, o app de demonstração que vamos usar ao longo desta série. 

Nesta postagem do blog, vamos mostrar como usar o Gemini Nano com a API Prompt do Kit de ML para criar recursos inteligentes no dispositivo.

Criar recursos inteligentes no dispositivo significa processar comandos e dados diretamente em um dispositivo sem enviar dados para um servidor. Isso oferece algumas vantagens: 

  • Os dados do usuário podem ser processados localmente no dispositivo, preservando a privacidade do usuário.
  • A funcionalidade do modelo é confiável mesmo com uma conexão de Internet instável ou sem conexão
  • Não há custo extra de inferência na nuvem, já que tudo é executado no hardware do usuário.

Com os benefícios do processamento no dispositivo em mente, identificamos três recursos para adicionar ao Jetpacker que podem melhorar a experiência do usuário: resumir itinerários de viagem, gerenciar despesas e capturar notas de voz.

Screenshot 2026-07-02 at 12.57.08 PM.png
Recursos no dispositivo no Jetpacker: resumo de itinerários de viagem, gerenciamento de despesas e notas de voz.

Resumo personalizado de alta qualidade de textos curtos

A tela de itinerário oferece aos usuários uma visão geral rápida de todas as atividades de uma determinada viagem. Como essa tela contém muitas informações, ela pode ficar sobrecarregada rapidamente. Para ajudar os usuários a se prepararem sem se sentirem sobrecarregados, podemos adicionar uma seção "Planeje e prepare-se para sua viagem" na parte de cima.

Screenshot_20260702_111934.png
A viagem romântica para Paris é resumida como uma aventura parisiense clássica que combina arte, pontos turísticos e comida deliciosa. Uma dica e algumas frases úteis também foram adicionadas.

Ao inserir um itinerário de viagem e pedir que um LLM o resuma, podemos gerar um resumo rápido da viagem, além de dicas de bagagem e frases locais úteis. Esse é um ótimo caso de uso para um modelo no dispositivo por vários motivos: 

  • Performance e qualidade: os textos de entrada e saída são relativamente curtos. Com isso, podemos esperar que o desempenho e a qualidade de uma solução no dispositivo sejam equivalentes aos de modelos de nuvem mais potentes.
  • Escalonabilidade: ao transferir a inferência no dispositivo, podemos escalonar esse recurso de alguns usuários para milhões sem nos preocupar com o gerenciamento dos custos crescentes de inferência na nuvem.
  • Baixa latência e confiabilidade: a inferência no dispositivo garante baixa latência, proporcionando uma experiência confiável mesmo quando os usuários estão off-line.

Para criar no dispositivo, usamos o Gemini Nano, o modelo mais eficiente do Google otimizado para dispositivos móveis. O Gemini Nano foi lançado há alguns anos e agora está em mais de 140 milhões de dispositivos. A versão mais recente do modelo, Gemini Nano 4, é baseada na arquitetura do modelo Gemma 4, lançado recentemente, e é ainda mais otimizada para maximizar a bateria e o desempenho. 

Com a API Prompt do Kit de ML, podemos aproveitar os novos recursos do modelo Gemini Nano 4 para criar protótipos de recursos no dispositivo. Vamos criar um comando que inclua o itinerário de uma viagem e pedir que o modelo gere um resumo com dicas de preparação.

Encontrar o comando ideal geralmente requer algumas iterações, e o app AICore é perfeito para essa etapa do processo. Depois de ativar a opção de prévia para desenvolvedores do AICore, podemos baixar modelos de pré-lançamento, como o Gemini Nano 4, para testar comandos e conferir as saídas esperadas do modelo. Com algumas iterações no comando, conseguimos melhorar a velocidade da resposta de 13 segundos para menos de 2 segundos. Confira a implementação final do código e o comando aqui.

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
A primeira iteração do nosso comando gerou tokens demais, e a otimização ajudou a manter as respostas rápidas e diretas.

Processamento local para entradas sensíveis do usuário

Em seguida, para ajudar os usuários a aproveitar ainda mais a viagem, vamos criar um gerenciador de despesas simples que elimina o trabalho manual de organizar recibos e calcular orçamentos. 

Como os recibos podem conter informações sensíveis, como número do cartão de crédito e endereços, esse é outro ótimo caso de uso para uma solução no dispositivo. Com o processamento no dispositivo, os usuários podem ter certeza de que as informações particulares serão processadas localmente no dispositivo, sem que nenhum dado seja enviado para a nuvem.

Além disso, o Gemini Nano 4 tem recursos de modelo aprimorados para multimodalidade, especialmente para tarefas de compreensão de imagens, como OCR e extração de dados visuais, o que o torna uma ótima solução para tarefas como extrair informações de recibos.

Nesse caso de uso, o comando vai analisar uma imagem do recibo e gerar informações como: um título, o valor gasto e a categoria da despesa. Para garantir que a saída do modelo mostre as informações no formato preferido, podemos usar a API Structured Output do Kit de ML para gerar um objeto de dados Kotlin que definimos.

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

entrada multimodal

Por fim, para ajudar os usuários a gravar notas de áudio durante a viagem, vamos criar um recurso de notas de voz totalmente no dispositivo. Usando a API Speech Recognition do Kit de ML, vamos permitir que os usuários gravem notas de voz curtas que são transcritas automaticamente em texto. Com o texto transcrito, vamos usar a API Prompt do Kit de ML para identificar qual atividade está associada à nota de voz gravada, permitindo que os usuários recapitulem facilmente a viagem enquanto navegam pelo itinerário. 

Screenshot_20260702_115529.png
O itinerário de férias em Roma mostra trechos de notas de voz.

A API GenAI Speech Recognition do Kit de ML permite transcrever conteúdo de áudio em texto totalmente no dispositivo usando dois modos distintos.O modo básico usa um modelo tradicional de reconhecimento de fala no dispositivo e está disponível na maioria dos dispositivos Android com nível da API 31 e versões mais recentes. O modo avançado usa o Gemini Nano para oferecer uma cobertura de idiomas mais ampla e melhor qualidade. No momento, ele está disponível nos dispositivos Pixel 10.

Para nosso recurso, combinamos a API Speech Recognition com a API GenAI Prompt do Kit de ML:

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

Conclusão

Usando as APIs de IA generativa do Kit de ML, conseguimos aproveitar o Gemini Nano para desenvolver recursos inteligentes totalmente no dispositivo para o app JetPacker e oferecer uma experiência do usuário aprimorada sem custos adicionais de nuvem.

Confira o código-fonte completo do Jetpacker no GitHub e assista ao vídeo Criar apps Android inteligentes com a IA do Google para saber como integrar recursos inteligentes diretamente ao seu app usando modelos no dispositivo, raciocínio baseado na nuvem e os frameworks de agentes mais recentes.

Saiba mais

Confira as outras partes desta série de postagens do blog:

Parte 1: introdução do app e uma visão geral de alto nível.

Parte 2 (este post!): Inteligência no dispositivo. Conheça as APIs de IA generativa do Kit de ML e o Gemini Nano para criar recursos com foco em privacidade, como resumo de itinerários, análise de recibos e processamento de áudio local.

Parte 3: Raciocínio híbrido e em nuvem. Saiba como usar o Firebase AI Logic para embasar as respostas do LLM em dados do mundo real, como o Google Maps e o contexto da Web.

Parte 4: integração de sistemas. Integração com o sistema de inteligência do Android usando AppFunctions.

Parte 5 (em breve): Agentic Workflows no app. Estender o app com um assistente de agendamento completo, com tecnologia da A2UI e do ADK.

Quer saber mais sobre o desenvolvimento para Android? Siga o Android Developers no YouTube ou no LinkedIn!

Todos os snippets de código neste post do blog seguem o seguinte aviso de direitos autorais:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Escrito por:
Continue lendo