Gemini Nano

借助 Gemini Nano，您无需网络连接或将数据发送到云端，即可提供丰富的生成式 AI 体验。对于以低成本和隐私保护为主要考量的用例，设备端 AI 是一种绝佳的解决方案。

对于设备端用例，您可以利用 Google 的 Gemini Nano 基础模型。Gemini Nano 在 Android 的 AICore 系统服务中运行， 该服务利用设备硬件实现低推理延迟，并使 模型保持最新状态。

机器学习套件生成式 AI API

ML Kit 的生成式 AI API 利用 Gemini Nano 的强大功能来帮助您的应用执行任务。这些 API 通过高级接口为热门用例提供开箱即用的质量。机器学习套件生成式 AI API 基于 AICore 构建，AICore 是一项 Android 系统服务，支持在设备端执行生成式 AI 基础模型，以便通过在本地处理数据来提供增强的应用功能和改进的用户隐私保护等功能。了解详情。

主要特性

机器学习套件生成式 AI API 支持以下功能：

  • 提示：根据自定义的 纯文本或多模态提示生成文本内容。
  • **总结**：将文章或对话总结为带项目符号的列表。
  • **校对** ：校对简短的聊天消息。
  • **重写**：以不同语气 或风格重写简短的聊天消息。
  • 图片说明：生成给定图片的简短说明。
  • 语音识别：将口述音频转录为文本。

通过 AICore 实现的架构

作为系统级模块，您可以通过一系列 API 访问 AICore，以便在设备端运行推理。此外，AICore 还具有多项内置安全功能，可确保针对我们的安全过滤器进行全面评估。下图概述了应用如何访问 AICore 以在设备端运行 Gemini Nano。

一张图表，显示了 Android 应用如何使用 Google AI Edge SDK 访问 AICore，其中 Gemini Nano、LoRA 和安全功能在硬件加速器上进行管理和运行。
图 1.AICore 充当应用与 Gemini Nano 模型之间的接口，在利用设备端硬件的同时管理模型更新和安全性。

确保用户数据的私密性和安全性

设备端生成式 AI 在本地执行提示，无需进行服务器调用。 虽然这样可以消除网络延迟，但推理速度取决于设备硬件。 这种方法通过将敏感数据保留在设备上，增强了隐私保护，实现了离线功能，并降低了推理成本。

AICore 遵循 Private Compute Core 原则，具有以下 主要特征：

  • 受限软件包绑定：AICore 与大多数其他软件包隔离， 仅对特定系统软件包存在有限的例外情况。对此允许列表的任何修改只能在完整的 Android OTA 更新期间进行。
  • 间接互联网访问：AICore 没有直接的互联网访问权限。 所有互联网请求（包括模型下载）都通过 开源 Private Compute Services 随附 APK 路由。Private Compute Services 中的 API 必须明确展示其以隐私保护为中心的设计理念。

此外，AICore 的设计旨在隔离每个请求，并且在处理后不会存储输入数据或生成输出的任何记录，以保护用户隐私。如需了解详情，请参阅博文 Gemini Nano 的隐私保护和安全性简介。

AICore 的详细架构图，显示了请求流程：API 表面、包含安全信号的输入处理、功能配置、包含模型权重和 LoRA 的运行时，以及包含安全信号的输出处理。它还显示了通过 Private Compute Services 下载的模型。
图 2.AICore 架构管理输入和 输出安全性、请求处理和模型权重，为设备端 AI 提供安全 的环境。

使用 AICore 访问 AI 基础模型的优势

AICore 使 Android 操作系统能够提供和管理 AI 基础模型。 这大大降低了在应用中使用这些大型模型的成本，主要原因如下：

  • 易于部署：AICore 管理 Gemini Nano 的分发并 处理未来的更新。您无需担心通过网络下载或更新大型模型，也不会影响应用的磁盘和运行时内存预算。
  • 加速推理：AICore 利用设备端硬件来加速 推理。您的应用在每台设备上都能获得最佳性能，并且您无需担心底层硬件接口。