在应用中构建生成式 AI 功能通常意味着需要探索各种模型、API 和架构选择:
- 执行位置:模型在何处运行?设备端、云端,还是两者兼有?
- 复杂性:您的设置有多复杂?您是要进行单次推理调用,还是需要更具智能体特征的流程?
- 应用内或 Android 系统:您的功能应该内置到 Android 应用中,还是更适合作为 Android 系统集成?
在本系列博文中,我们将与您一起探讨这些选择。我们将带您踏上一段旅程,从一个基本的移动应用开始,将其转变为个性化、智能化且具有智能体特性的体验。
Jetpacker:一款演示旅行应用
Jetpacker 是我们团队为今年的 Google I/O 大会从头开始构建的一款技术展示应用(使用 Antigravity 构建)。Jetpacker 的核心功能是帮助用户规划、探索和享受下一次重大冒险。它会显示您的行程概览、每个行程的路线以及该行程中每个活动的详细信息。当然,还要遵循 Android 开发的所有最佳实践,包括采用富有表现力的精美 Material 界面设计。
最棒的是,它完全开源!
今天,我们将发布一系列技术博文,深入探讨其中每项功能。我们将提供详细的实现步骤、代码段和架构洞见,帮助您构建自己的智能 Android 应用。
设备端智能技术
使用设备端模型不会产生额外的云推理费用,这意味着您无需担心网络连接问题,并且用户可以确信私密信息将在设备上本地处理,而不会将其任何数据发送到云端。
在 Jetpacker 中,我们为以下三项功能选择了设备端推理:
- 行程概览功能可将杂乱的多日行程转换为简洁、实用的摘要。它通过机器学习套件 GenAI API 利用 Gemini Nano 在设备上本地处理数据。我们认为这是一项锦上添花的功能,我们不希望产生额外的云端费用,因此设备端推理是正确的选择。
- 费用跟踪器会自动从收据图片中提取结构化数据,帮助用户跟踪旅行支出。它通过机器学习套件的 GenAI API 使用 Gemini Nano 4 的多模态功能。我们选择设备端解决方案,以便确保收据图片中的任何隐私敏感信息都不会离开用户的设备。
- 音频日志会录制语音笔记,并将其转写和分类到相关的行程活动中。它由 机器学习套件语音识别 和 生成式 AI Prompt API 提供支持。出于隐私和连接方面的考虑,我们选择了设备端解决方案。
云端和混合推理
有时,您的应用场景需要 AI 模型具备更丰富的世界知识或更大的上下文窗口,并且能够处理复杂任务。在这种情况下,我们可以从运行设备端模型切换为使用云端模型。
或者,如果您想兼得两者的优势,可以使用混合推理,在运行时动态选择云端模型或设备端模型。这样,我们就可以在设备可用时将推理转移到设备上,从而降低成本,同时支持运行该应用的所有 Android 设备。
在 Jetpacker 中,我们使用云端或混合推理实现了多项功能:
- 地点问答功能可根据真实世界的数据回答用户关于特定地点的问题。它使用与 Google 地图和网络上下文集成的 Firebase AI Logic。这里需要使用云端模型,因为它具备更丰富的世界知识。
- 评价草拟功能可帮助用户为去过的地点撰写详细评价。它通过 Firebase AI Logic 的全新混合推理 API,同时利用设备端模型和云端模型。我们希望所有应用用户都能使用此功能,因此当设备端模型不可用时,我们会使用云端模型作为后备。
- 聊天自动翻译功能可实时动态翻译聊天消息,促进顺畅沟通,展示了自定义混合推理逻辑。同样,我们希望所有应用用户都能使用此功能,但同时,在选择设备端还是云端时,我们有一些具体的考虑因素。
系统集成
虽然您在应用本身中看不到这项功能,但 Android 系统集成功能可直接向 Android 操作系统开放应用的核心功能。它使用 AppFunctions API 与系统级智能功能集成。
应用内 Agentic Workflows(敬请期待)
智能体化引入了更高水平的自主性,使模型能够充当智能体。智能体不依赖单一推理调用,而是通过编排循环来实现特定目标,这使其能够进行推理、使用工具并调整路径。这些智能体既可以在云端运行,也可以直接在设备上运行,或者采用混合设置,具体取决于您的需求。
对于 Jetpacker,我们添加了一个预订助理,可直接在应用内自动执行端到端预订工作流,从而简化预订流程。它使用在云端运行的 A2UI 和 ADK 构建。Android 应用充当在云端运行的多智能体系统的前端。
了解详情
查看本系列博文的其他部分:
第 1 部分(即本篇博文!):应用简介和简要概览。
第 2 部分:设备端智能。深入了解机器学习套件的生成式 AI API 和 Gemini Nano,构建隐私至上的功能,例如行程摘要、收据解析和本地音频处理。
第 3 部分:混合和云端推理。探索如何使用 Firebase AI Logic,让 LLM 回答基于 Google 地图和网络上下文等真实世界数据。
第 4 部分:系统集成。使用 AppFunctions 与 Android 智能系统集成。
第 5 部分(即将推出):应用内智能体工作流。使用由 A2UI 和 ADK 提供支持的端到端预订助理扩展应用。
-
HowTo欢迎回到“构建智能 Android 应用”博文系列。在本系列中,您将学习如何将一个基本的 Android 应用转变为个性化、智能化的智能体体验。在上一篇博文中,您了解了如何使用 AppFunctions 连接到智能系统。
Jolanda Verhoef • 阅读用时:9 分钟 -
HowTo欢迎回到“构建智能 Android 应用”博文系列。在本系列中,我们将把一个基本的 Android 应用转变为个性化、智能化的智能体体验。
Thomas Ezan, Jolanda Verhoef, Caren Chang • 阅读用时:8 分钟 -
HowTo欢迎回到“构建智能 Android 应用”博文系列。在本系列中,我们将把一个基本的 Android 应用转变为个性化、智能且具有智能体功能的体验。在上一篇文章中,我们介绍了 Jetpacker,这是我们将在本系列中使用的演示应用。
Caren Chang • 阅读用时:6 分钟
每周通过电子邮件接收最新的 Android 开发洞见。