HowTo

构建智能 Android 应用:设备端推理

阅读用时:6 分钟
查看 Caren Chang 的个人资料
Caren Chang 开发者关系工程师

欢迎回到“构建智能 Android 应用”博文系列。在本系列中,我们将一个基本的 Android 应用转变为个性化、智能且具有智能体功能的体验。在上一篇博文中,我们介绍了 Jetpacker,这是我们将在本系列中使用的演示应用。

在这篇博文中,我们将分享如何通过机器学习套件的 Prompt API 使用 Gemini Nano 来构建智能设备端功能。

构建智能设备端功能是指直接在设备上处理提示和数据的能力,无需将数据发送到服务器。这有以下几点好处:

  • 用户数据可在设备上本地处理,从而保护用户隐私
  • 即使网络连接不稳定或没有网络连接,模型的功能也可靠
  • 由于所有内容都在用户的硬件上运行,因此不会产生额外的云推理费用

考虑到设备端 AI 的优势,我们确定了要在 Jetpacker 中添加的三项功能,以提升用户体验:总结行程、管理费用和录制语音备忘录。

Screenshot 2026-07-02 at 12.57.08 PM.png
Jetpacker 中的设备端功能:总结行程、管理费用和语音备注。

针对短文本的高质量定制化摘要

行程屏幕可让用户快速了解特定行程的所有活动。由于此屏幕包含大量信息,因此很快就会让人感到应接不暇。为了帮助用户做好准备,同时避免他们感到不知所措,我们可以在顶部添加一个“为行程做好准备”部分。

Screenshot_20260702_111934.png
浪漫巴黎之旅被总结为一场融合了艺术、景点和美食的经典巴黎探险。此外,还添加了一条提示和一些实用短语。

通过输入行程并让 LLM 进行总结,我们可以快速生成行程摘要,以及打包提示和实用的当地短语。这是设备端模型的绝佳应用场景,原因如下:

  • 性能和质量:输入和输出文本都相对较短。因此,我们可以预期设备端解决方案的性能和质量将与更强大的云端模型不相上下。
  • 可伸缩性:将推理转移到设备端后,我们就可以将此功能从少数用户扩展到数百万用户,而无需担心不断增加的云推理费用。
  • 低延迟和可靠性:设备端推理可保证低延迟,即使在用户离线时也能提供可靠的体验。

为了在设备端构建应用,我们使用了 Gemini Nano,这是 Google 专为移动设备优化的高效模型。Gemini Nano 于几年前首次推出,目前已在超过 1.4 亿台设备上运行。最新版本的模型 Gemini Nano 4 基于近期发布的 Gemma 4 模型的架构基础构建,并经过进一步优化,可最大限度地提高电池续航时间和性能效率。

借助机器学习套件的 Prompt API,我们可以利用 Gemini Nano 4 的新模型功能来构建设备端功能原型。我们将创建一个包含旅行行程的提示,并要求模型生成摘要以及任何准备提示。

找到最佳提示通常需要进行一些迭代,而 AICore 应用非常适合此流程中的这一步骤。选择启用适用于 AICore 的开发者预览版选项后,我们可以下载 Gemini Nano 4 等预览版模型,以测试提示并查看模型的预期输出。通过对提示进行几次迭代,我们成功将响应速度从 13 秒提升到了 2 秒以内!点击此处查看最终的代码实现和提示。

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
我们的提示在第一次迭代时生成了太多词元,通过优化提示,我们成功让回答保持快速且切中要害。

在本地处理敏感的用户输入

接下来,为了帮助用户更好地享受行程,我们将构建一个简单的费用管理器,让用户无需手动整理收据和计算预算。

由于收据可能包含信用卡号和地址等敏感信息,因此这是设备端解决方案的另一个绝佳用例。借助设备端处理,用户可以确信私密信息将在设备本地处理,而不会将任何数据发送到云端。

此外,Gemini Nano 4 还提升了多模态模型功能,尤其是在 OCR 和视觉数据提取等图片理解任务方面,因此非常适合用于从收据中提取信息等任务。

对于此用例,提示将分析收据图片,并输出以下信息:生成的标题、支出金额和支出类别。为确保模型以首选格式输出信息,我们可以使用 ML Kit 的 Structured Output API 无缝输出我们定义的 Kotlin 数据对象。

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

多模态输入

最后,为了帮助用户在旅途中录制语音备忘录,我们来构建一个完全在设备端运行的语音记事功能。我们将使用机器学习套件的 Speech Recognition API,让用户能够录制简短的语音记事,并自动将其转写为文字。借助转录的文本,我们将使用机器学习套件的 Prompt API 来识别哪些行程活动与录制的语音备注相关联,让用户在滚动浏览行程时轻松回顾行程。

Screenshot_20260702_115529.png
罗马假期行程显示语音记事摘录。

机器学习套件生成式 AI 语音识别 API 允许您使用两种不同的模式完全在设备端将音频内容转写为文本。基本模式使用传统的设备端语音识别模型,适用于大多数搭载 API 级别 31 及更高级别的 Android 设备。高级模式使用 Gemini Nano,支持更多语言,提供更优质的翻译,目前 Pixel 10 设备支持此模式。

为了实现我们的功能,我们将 Speech Recognition API 与 机器学习套件 GenAI Prompt API 结合使用:

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

总结

借助机器学习套件的生成式 AI API,我们能够利用 Gemini Nano 为 JetPacker 应用开发完全在设备端运行的智能功能,并在不产生任何额外云端费用的情况下提供更出色的用户体验。

如需查看 Jetpacker 的完整源代码,请访问 GitHub。此外,您还可以观看视频使用 Google AI 构建智能 Android 应用,详细了解如何使用设备端模型、云端推理和最新的智能体框架,将智能功能直接集成到您的应用中。

了解详情

查看本系列博文的其他部分:

第 1 部分:应用简介和简要概览。

第 2 部分(即本篇博文!):设备端智能。深入探究机器学习套件的生成式 AI API 和 Gemini Nano,构建隐私至上的功能,例如行程总结、收据解析和本地音频处理。

第 3 部分:混合推理和云端推理。探索如何使用 Firebase AI Logic,让 LLM 回答基于 Google 地图和网络上下文等真实世界数据。

第 4 部分:系统集成。使用 AppFunctions 与 Android 智能系统集成。

第 5 部分(敬请期待):应用内 Agentic Workflows。使用由 A2UI 和 ADK 提供支持的端到端预订助理扩展应用。

想了解更多 Android 开发相关内容?在 YouTube 或 LinkedIn 上关注 Android 开发者!

本博文中的所有代码段均遵循以下版权声明:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
作者:
继续阅读