Google AI Edge SDK

Google AI Edge SDK 允许开发者进行实验性访问,以便通过 Gemini Nano 测试设备端 AI 功能来增强其应用。

通过 AICore 实现的架构

作为系统级模块,您可以通过一系列 API 访问 AICore,以便在设备上运行推理。此外,AICore 还具有多项内置安全功能,可确保针对我们的安全过滤器进行全面评估。下图概述了应用如何访问 AICore 以在设备上运行 Gemini Nano。

Google AI Edge SDK、AICore 和 Gemini Nano。
图 1. Google AI Edge SDK、AICore 和 Gemini Nano。

确保用户数据的私密性和安全性

设备端生成式 AI 在本地执行提示,无需调用服务器。这种方法可将敏感数据保留在设备上,从而增强隐私保护,同时还可实现离线功能并降低推理成本。

AICore 遵循 Private Compute Core 原则,具有以下主要特征:

  • 受限的软件包绑定:AICore 与大多数其他软件包隔离,仅对特定系统软件包有少数例外情况。对该许可名单的任何修改只能在完整的 Android OTA 更新期间进行。
  • 间接互联网访问:AICore 不具备直接互联网访问权限。 所有互联网请求(包括模型下载)都通过开源 Private Compute Services 随附 APK 进行路由。Private Compute Services 中的 API 必须明确展示其以隐私保护为中心的设计理念。

此外,AICore 在设计时就考虑到了隔离每个请求,并且在处理输入数据或生成输出结果后不会存储任何相关记录,以保护用户隐私。如需了解详情,请参阅博文 Gemini Nano 隐私权和安全简介

AICore 架构图示
图 2. AICore 架构

通过 AICore 访问 AI 基础模型的优势

AICore 使 Android 操作系统能够提供和管理 AI 基础模型。这可显著降低在应用中使用这些大型模型的成本,主要原因如下:

  • 易于部署:AICore 可管理 Gemini Nano 的分发并处理未来的更新。您无需担心通过网络下载或更新大型模型,也不会影响应用的磁盘和运行时内存预算。
  • 加速推理:AICore 利用设备端硬件来加速推理。您的应用可在每台设备上获得最佳性能,并且您无需担心底层硬件接口。

支持的功能

  • 支持的设备:Google AI Edge SDK 搭配 Gemini Nano 可在 Pixel 9 系列设备上进行实验
  • 支持的模态:AICore 支持 Gemini Nano 的文本模态。

我们正在积极投资,以支持更多设备和模态。

用例

与云服务器相比,移动设备的资源有限,因此设备端生成式 AI 模型在设计时侧重于效率和大小。此优化会优先处理特定且明确定义的任务,而不是更通用的应用。适用用例包括:

  • 文本改写:修改文本的语气和风格(例如从轻松改为正式)。
  • 智能回复:在聊天串中生成与上下文相关的回复。
  • 校对:识别并更正拼写和语法错误。
  • 摘要:将长篇文档浓缩为简明的摘要(段落或要点)。

如需获得最佳性能,请参阅提示策略文档。如需亲身体验这些应用场景,请下载我们的示例应用,然后开始试用 Gemini Nano。

多款 Google 应用使用 Gemini Nano。部分示例如下:

  • Talkback:Android 无障碍应用 Talkback 利用 Gemini Nano 的多模态输入功能,为有视觉障碍的用户改进图片说明。
  • Pixel 语音录音机Pixel 语音录音机应用使用 Gemini Nano 和 AICore 来支持设备端总结功能。“录音机”团队采用了最新的 Gemini Nano 模型,以支持更长的录音并提供更高质量的摘要。
  • Gboard:Gboard 智能回复功能利用搭载 AICore 的设备端 Gemini Nano 来提供准确的智能回复。