Google AI Edge SDK 提供实验版访问权限，供希望通过 Gemini Nano 测试其应用通过设备端 AI 功能进行增强的开发者使用。
通过 AICore 实现的架构
作为系统级模块，您可以通过一系列 API 访问 AICore，以便在设备端运行推理。此外，AICore 还具有多项内置安全功能，可确保根据我们的安全过滤器进行全面评估。下图概述了应用如何访问 AICore 以在设备端运行 Gemini Nano。
保护用户数据的隐私性和安全性
设备端生成式 AI 会在本地执行提示，从而消除服务器调用。这种方法可通过将敏感数据保留在设备上、启用离线功能并降低推理费用来增强隐私保护。
AICore 遵循 Private Compute Core 原则，具有以下主要特征：
- 受限的软件包绑定：AICore 与大多数其他软件包隔离，仅对特定系统软件包有有限的例外情况。只能在完整的 Android OTA 更新期间对此许可名单进行任何修改。
- 间接互联网访问：AICore 没有直接互联网访问权限。所有互联网请求（包括模型下载）都通过开源 Private Compute Services 配套 APK 进行路由。Private Compute Services 中的 API 必须明确表明其以隐私保护为中心的特性。
此外，AICore 旨在隔离每个请求，并且不会存储输入数据的任何记录，也不会存储处理后生成的输出，以保护用户隐私。如需了解详情，请参阅博文Gemini Nano 隐私和安全简介。
使用 AICore 访问 AI 基础模型的好处
AICore 可让 Android OS 提供和管理 AI 基础模型。这可显著降低在应用中使用这些大型模型的费用，主要原因如下：
- 易于部署：AICore 会管理 Gemini Nano 的分发，并处理未来的更新。您无需担心通过网络下载或更新大型模型，也不会影响应用的磁盘和运行时内存预算。
- 加速推理：AICore 利用设备端硬件加速推理。您的应用在每部设备上都能获得最佳性能，而您无需担心底层硬件接口。
支持的功能
- 受支持的设备：您可以在 Pixel 9 系列设备上使用 Gemini Nano 和 Google AI Edge SDK 进行实验。
- 支持的模态：AICore 支持 Gemini Nano 的文本模态。
我们正在积极投资于其他设备和模式支持。
用例
与云服务器相比，移动设备的资源有限，因此在设计设备端生成式 AI 模型时，我们会重点考虑效率和大小。此优化会优先处理定义明确的特定任务，而不是更笼统的应用。适合的用例包括：
- 文本改写：修改文本的语气和风格（例如，将轻松的语气改为正式的语气）。
- 智能回复：在聊天会话中生成与上下文相关的回复。
- 校对：找出并更正拼写和语法错误。
- 总结：将长篇文档浓缩为简洁的摘要（段落或要点）。
如需获得最佳效果，请参阅提示策略文档。如需亲自探索这些用例，请下载我们的示例应用，并开始试用 Gemini Nano。
多款 Google 应用都使用 Gemini Nano。部分示例如下：
- Talkback：Android 的无障碍应用 Talkback 利用 Gemini Nano 的多模式输入功能，为视障用户改进图片描述。
- Pixel 语音录音机：Pixel 语音录音机应用使用 Gemini Nano 和 AICore 来实现设备端总结功能。录音机团队采用了最新的 Gemini Nano 模型，以支持更长时间的录音，并提供更高质量的摘要。
- Gboard：Gboard 智能回复功能结合使用设备端 Gemini Nano 和 AICore，提供准确的智能回复。