Gemini Nano

借助 Gemini Nano，您无需网络连接或将数据发送到云端，即可提供丰富的生成式 AI 体验。对于低成本和隐私保护是您主要关注点的应用场景，设备端 AI 是一个很好的解决方案。

对于设备端应用场景，您可以利用 Google 的 Gemini Nano 基础模型。Gemini Nano 在 Android 的 AICore 系统服务中运行，该服务利用设备硬件实现低推理延迟，并使模型保持最新状态。

机器学习套件生成式 AI API

机器学习套件的生成式 AI API 利用 Gemini Nano 的强大功能，帮助您的应用执行设备端生成式 AI 任务。这些 API 基于 AICore 构建，AICore 是一项 Android 系统服务，可在设备端执行生成式 AI 基础模型，通过在本地处理数据来增强应用功能和提高用户隐私保护。了解详情。

主要特性

机器学习套件将其生成式 AI 功能分为以下几类：

自定义生成和智能体

直接使用 Gemini Nano 基础模型，满足自定义用例需求：

  • 直接模型访问（使用 GenerativeModel 类）：根据自定义纯文本或多模态提示词生成文本或类型化结构化输出，或直接使用具有 USER 和 MODEL 角色以及 sessionId 值的 List<Content> 对象管理您自己的多轮对话历史记录。
  • Agentic Workflows（使用 AgentRunner 类）：基于 GenerativeModel 类构建，可自动执行多轮会话管理（包括内存中的对话历史记录）和多步骤工具调用循环。

语音和音频

在设备端转写、翻译和合成语音音频：

  • 语音识别：将语音音频内容转写为相同语言的文本。
  • 语音翻译：将语音音频实时翻译成另一种语言的文本。
  • Text to Speech：根据文本合成自然流畅的语音音频。

文本和图片任务

通过高级接口使用针对常见视觉、写作和搜索任务进行了优化的特定任务 API：

  • 图片说明：生成给定图片的简短说明。
  • 总结：以项目符号列表的形式总结文章或对话。
  • 校对：校对简短的聊天消息。
  • 重写：以不同的语气或风格重写简短的聊天消息。
  • 语义搜索：使用 Embedding API 为文本和图片生成向量嵌入，并将其与 AndroidX AppSearch 配对，以便按含义查找内容。

通过 AICore 实现的架构

作为系统级模块，您可以通过一系列 API 访问 AICore，以便在设备端运行推理。此外，AICore 还具有多项内置安全功能，可确保根据我们的安全过滤器进行全面评估。下图简要说明了应用如何访问 AICore 以在设备端运行 Gemini Nano。

一张图表，展示了 Android 应用如何使用 Google AI Edge SDK 访问 AICore，其中 Gemini Nano、LoRA 和安全功能在硬件加速器上进行管理和运行。
图 1. AICore 充当应用与 Gemini Nano 模型之间的接口，在管理模型更新和安全性的同时，充分利用设备端硬件。

确保用户数据的私密性和安全性

设备端生成式 AI 在本地执行提示，无需调用服务器。 虽然这消除了网络延迟，但推理速度取决于设备硬件。 这种方法可将敏感数据保留在设备上，从而增强隐私保护，实现离线功能，并降低推理成本。

AICore 遵循 Private Compute Core 原则，具有以下主要特征：

  • 受限软件包绑定：AICore 与大多数其他软件包隔离，只有少数特定系统软件包例外。只有在完整的 Android OTA 更新期间，才能对此许可名单进行修改。
  • 间接互联网访问：AICore 无法直接访问互联网。所有互联网请求（包括模型下载）都会通过开源 Private Compute Services 配套 APK 进行路由。Private Compute Services 中的 API 必须明确展示其以隐私为中心的性质。

此外，AICore 旨在隔离每个请求，并且在处理输入数据或生成的输出后不会存储任何记录，以保护用户隐私。如需了解详情，请阅读博文《Gemini Nano 隐私和安全简介》。

AICore 的详细架构图，展示了请求流程：API Surface、使用安全信号进行输入处理、功能配置、使用模型权重和 LoRA 的运行时，以及使用安全信号进行输出处理。此外，还会显示通过 Private Compute Services 下载的模型。
图 2. AICore 架构负责管理输入和输出安全、请求处理以及模型权重，为设备端 AI 提供安全的环境。

通过 AICore 访问 AI 基础模型的优势

AICore 使 Android OS 能够提供和管理 AI 基础模型。 这可以显著降低在应用中使用这些大型模型的成本，主要原因如下：

  • 易于部署：AICore 负责管理 Gemini Nano 的分发并处理未来的更新。您无需担心通过网络下载或更新大型模型，也无需担心对应用的磁盘和运行时内存预算产生影响。
  • 加速推理：AICore 利用设备端硬件来加速推理。您的应用可在每台设备上获得最佳性能，并且您无需担心底层硬件接口。

何时使用混合推理

虽然 Gemini Nano 非常适合离线和隐私敏感型任务，但它也存在设备端限制，例如 token 限制、设备硬件限制和模型功能边界。在这些场景中，您可以使用混合推理在本地设备和云端之间平衡 AI 工作负载。

为确保在所有设备上提供一致的用户体验并处理复杂的查询，您可以使用 Firebase AI Logic Hybrid API。这样，您的应用就可以执行以下操作：

  • 优雅回退：当用户的设备不支持或无法使用 Gemini Nano 时，系统会自动将请求路由到云端的 Gemini Flash 或 Gemini Pro 模型。
  • 强制执行安全措施：使用 Firebase App Check（及其支持的证明提供方，如 Play Integrity）保护云推理，并将敏感系统提示保留在服务器端。