HowTo

构建智能 Android 应用:云端和混合推理

阅读用时:8 分钟

欢迎回到“打造智能 Android 应用”博文系列。在本系列中,我们将把一个基础 Android 应用转变为个性化、智能且具有智能体功能的体验。在上一篇博文中,我们探讨了如何通过机器学习套件的 Prompt API,利用 Gemini Nano 构建智能设备端功能。

在本文中,我们将探讨如何利用 Firebase AI Logic 构建云托管和混合 AI 功能:

  • 根据现实世界情境提供回答
  • 使用混合推理在云端和本地执行之间动态路由请求
  • 使用自定义路由系统翻译内容

有时,应用场景需要 AI 模型具备更丰富的世界知识、更大的上下文窗口或处理复杂查询的能力。在这些场景中,我们可以利用云端模型。

在其他情况下,您可能希望兼顾两者的优势:使用混合推理,在条件允许时在设备端运行以降低成本,同时在必要时回退到云端,以确保与所有设备兼容。

features.png
Jetpacker 中的云端和混合功能:具有网络接地功能的博物馆助理、混合餐厅评价草稿,以及具有自定义路由实时翻译功能的客服聊天。

我们来看看如何在 Jetpacker 中实现三项云端和混合功能:

  • 一个具有网页接地功能的博物馆助理
  • 混合餐厅评价草稿
  • 酒店支持聊天,具有自定义路由的实时翻译功能。

使用 LLM 接地功能获取最新信息博物馆助理聊天机器人(采用 LLM 接地功能)

博物馆助理是一款互动式聊天机器人,旨在帮助用户规划博物馆参观之旅。它为访客提供有关特定展览、当前营业时间、票价等方面的最新详细信息。

museum_assistant_upscaled.png
博物馆助理是一个聊天机器人,可以回答诸如“如何获得卢浮宫的门票折扣?”之类的问题。

在构建 AI 功能时,让模型根据最新、准确且具体的真实世界信息进行回答是一项常见挑战。虽然云端模型拥有海量的世界知识,但它们可能不知道季节性展览或当天的营业时间。

grounding.png
依据数据会添加到上下文窗口中,使模型能够正确、准确地回答问题。

为了弥补这一差距,我们可以使用接地技术为模型的上下文窗口添加额外的上下文。Firebase AI Logic SDK 支持三种类型的接地:

  • 网址接地:使用特定网页中的内容(例如当前票价或博物馆规则)来接地回答。
  • Google 搜索接地:让模型查询实时 Google 搜索索引,以获取最新详细信息。
  • 地图接地:使用 Google 地图位置数据。

在 Jetpacker 中,我们根据启用的功能标志动态构建可用工具,并使用 Firebase AI SDK 初始化生成模型:

// implementation("com.google.firebase:firebase-ai-logic")

private var toolList = mutableListOf<Tool>()

init {
    if (ENABLE_SEARCH_GROUNDING) {
        toolList.add(Tool.googleSearch())
    }
    if (ENABLE_URL_GROUNDING) {
        toolList.add(Tool.urlContext())
    }
}

private val generativeModel = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-3-flash",
        systemInstruction = content {
            text("You are a helpful museum assistant answering questions about a museum. Use plain text.")
        },
        tools = toolList
    )

当用户向助理查询时,如果启用了网址接地,我们会将特定的博物馆资源网址直接附加到提示中:

val groundingText = if (FeatureFlags.ENABLE_URL_GROUNDING) {
    "\n If the following message above is about the rules and terms to visit Le Louvre, " +
    "if needed answer this urls ${urlList.joinToString()}"
} else {
    ""
}

val prompt = "$text $groundingText"

var response = chat.sendMessage(prompt)

并非所有 AI 任务都需要云端模型,也并非所有设备都始终在线。为了帮助开发者在延迟时间、成本和离线可用性之间取得平衡,我们最近推出了 Firebase API for Hybrid Inference。

在 Jetpacker 中,餐厅评价功能可让用户查看所选主题并自动起草评价。为了让所有用户都能使用此功能,我们优先使用 Gemini Nano 进行本地执行,并在不支持 Gemini Nano 的设备上回退到云端模型。

review_upscaled.png
餐厅评价功能使用混合推理,根据主题起草评价。
// implementation("com.google.firebase:firebase-ai-logic")
// implementation("com.google.firebase:firebase-ai-ondevice:16.0.0-beta03")


// Initialize the model with hybrid routing configuration
val reviewModel = Firebase.ai.generativeModel(
    modelName = "gemini-3.1-flash-lite",
    onDeviceConfig = OnDeviceConfig(
        inferenceMode = InferenceMode.PREFER_ON_DEVICE
    )
)

Hybrid Inference API 支持四种不同的路由模式:

  • PREFER_ON_DEVICE:优先在本地执行,如果 Gemini Nano 不可用,则回退到云端。
  • PREFER_IN_CLOUD:优先在云端执行,如果设备离线,则回退到设备端执行。
  • ONLY_ON_DEVICE:将执行严格限制在设备上。
  • ONLY_IN_CLOUD:严格限制在云端执行。

生成评价后,我们会将其复制到剪贴板,并使用 intent 直接打开 Google 地图,跳转到餐厅的评价页面,从而提供顺畅的用户体验:

private fun copyAndOpenMapsReview(context: Context, reviewText: String, placeId: String) {
    val clipboard = context.getSystemService(Context.CLIPBOARD_SERVICE) as ClipboardManager
    val clip = ClipData.newPlainText("User Review", reviewText)
    clipboard.setPrimaryClip(clip)

    val uri = Uri.parse("https://search.google.com/local/writereview/mobile?placeid=$placeId")
    val intent = Intent(Intent.ACTION_VIEW, uri).apply {
        setPackage("com.google.android.apps.maps")
    }
    context.startActivity(intent)
}

自定义混合路由:酒店支持聊天翻译,具有模拟角色

酒店支持聊天旨在让用户完成物流安排并查看酒店详情。此功能使用系统指令来配置本地化接待员助理。通过在指令中传递特定信息(例如首选语言和酒店信息),我们可以设置一个代表特定酒店的对话角色。

private val generativeModel = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        systemInstruction = content {
            text("""
              You are a helpful hotel receptionist at $hotelName only speaking $language. 
              Answer politely in $language. The bar closes at 10pm and breakfast is from 7am to 10am.
              There's someone at the desk 24/7. You can retrieve your luggage from the storage room 
              at the back of the lobby at any time.
              """)
        },
        modelName = "gemini-3-flash-preview"
    )

由于接待员的回复使用的是酒店的本地语言(例如,巴黎莫里斯酒店使用法语),因此我们需要将消息翻译成用户偏好的语言。

translation_upscaled.png
酒店支持聊天消息会自动翻译成用户的首选语言。

虽然混合模型可以配置简单的路由偏好设置,但复杂场景需要自定义路由逻辑。在 Jetpacker 中,我们实现了一个自定义路由堆栈,该堆栈会考虑以下因素:

  • 语言识别:使用设备端 ML Kit Language Identification API,我们可以检测收到的消息所用的语言。
  • 设备端翻译 (Gemini Nano):机器学习套件的 Prompt API 让我们能够直接在设备上翻译常见语言对,从而节省带宽和云端成本。
  • Cloud Translation (Gemini 3 Flash):对于更复杂的语言,我们会使用 Gemini Flash 3 来获得更高质量的翻译。
// implementation("com.google.android.gms:play-services-mlkit-language-id:17.0.0") 

// ML Kit for Language Identification (powered by Google Play Services)
private val languageIdentifier = LanguageIdentification.getClient()

// On-device translator model (prefer Gemini Nano) for translating common language pairs
private val hybridTranslationModel = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-3-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)
    )

// Cloud translator model for more complex language pairs
private val cloudTranslationModel = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-3-flash"
    )

当需要翻译消息时,我们会识别源语言并应用自定义路由逻辑,在设备端或 Cloud Translation 执行翻译:

fun translateMessage(message: SupportChatMessage) {
    viewModelScope.launch {
        // 1. Detect language using ML Kit Language Identification
        val sourceLang = try {
            Tasks.await(languageIdentifier.identifyLanguage(message.text))
        } catch (e: Exception) {
            "Undefined"
        }

        // 2. Custom routing: we've verified the translation quality for English and Korean with Gemini Nano, and will translate message on-device for those two languages
        val routeToCloud = sourceLang != "en" && sourceLang != "kr"

        val prompt = "Translate the following text to $selectedLanguage. Just return the translated sentence: ${message.text}."

        val (translatedText, routePrefix) = if (routeToCloud) {
            val result = cloudTranslationModel.generateContent(prompt)
            result.text to "[Cloud]"
        } else {
            val result = hybridTranslationModel.generateContent(prompt)
            result.text to "[On-Device]"
        }

        if (translatedText != null) {
            _translations.update { current ->
                current + (message.id to "$routePrefix: $translatedText")
            }
        }
    }
}

在此示例中,自定义路由逻辑仅考虑翻译的源语言和目标语言。不过,您可以根据应用的使用场景,扩展路由逻辑,将其他因素(例如设备端模型版本、网络连接、电池状态等)纳入考量。

保护 AI 流水线:Firebase App Check

最后,在云端使用 AI 可能会导致 API 密钥滥用或未经授权的结算。为了确保 API 调用的安全,我们集成了 Firebase App Check,同时使用 Play Integrity(生产环境)和本地调试提供程序(用于本地开发或模拟器)。

在 JetPackerApplication.kt 文件中,我们在启动时安装调试提供程序,并触发匿名身份验证以建立安全的用户会话:

//  implementation("com.google.firebase:firebase-appcheck-playintegrity") 
//  implementation("com.google.firebase:firebase-appcheck-debug")  
//  implementation("com.google.firebase:firebase-auth") 

override fun onCreate() {
    super.onCreate()
    Firebase.initialize(context = this)
    Firebase.appCheck.installAppCheckProviderFactory(
        DebugAppCheckProviderFactory.getInstance()
    )
    Firebase.auth.signInAnonymously()
}

在模拟器上进行本地构建时,App Check 会将本地令牌密钥输出到 logcat:

Enter this debug secret into the allow list in the Firebase Console: a8c2dd4c-xxxx-xxxx-xxxx-ef6c114ba27e

在 Firebase 控制台中注册后,本地请求会由 App Check 进行全面验证和身份验证,从而在保护后端的同时,让我们能够在本地测试应用。

总结

通过将云端模型能力(建立依据、系统指令)与设备端能力(混合路由、翻译、App Check)相结合,我们打造了一款智能、安全且可离线使用的旅行应用。

查看 GitHub 上 Jetpacker 的完整源代码,并浏览 Firebase 文档以开始使用:

Firebase AI Logic 文档
Firebase Hybrid Inference API

了解详情

查看本系列博文的其他部分:

第 1 部分:应用简介和简要概览。
第 2 部分:设备端智能。深入探究机器学习套件的生成式 AI API 和 Gemini Nano,构建隐私至上的功能,例如行程摘要、收据解析和本地音频处理。
第 3 部分(即本篇博文!):混合和云端推理。探索如何使用 Firebase AI Logic,让 LLM 能够根据 Google 地图和 Web 上下文等真实世界数据提供答案。
第 4 部分:系统集成。使用 AppFunctions 与 Android 智能系统集成。 
第 5 部分(敬请期待):应用内 Agentic Workflows。使用由 A2UI 和 ADK 提供支持的端到端预订助理扩展应用。

想了解更多 Android 开发相关内容?在 YouTube 或 LinkedIn 上关注 Android 开发者!

本博文中的所有代码段均遵循以下版权声明:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
继续阅读