Gemini Nano

Gemini Nano позволяет использовать возможности генеративного искусственного интеллекта без сетевого подключения и отправки данных в облако. ИИ на устройстве – отличное решение для случаев, когда низкая стоимость и защита конфиденциальности являются вашими основными задачами.

Для сценариев использования на устройстве вы можете воспользоваться базовой моделью Google Gemini Nano. Gemini Nano работает в системной службе AICore для Android, которая использует аппаратное обеспечение устройства, чтобы снизить задержку инференса и поддерживать модель в актуальном состоянии.

ML Kit GenAI API

API GenAI в ML Kit используют возможности Gemini Nano, чтобы помогать вашим приложениям выполнять задачи генеративного ИИ на устройстве. Эти API созданы на основе AICore – системного сервиса Android, который позволяет выполнять базовые модели генеративного ИИ на устройстве. Это помогает улучшать функции приложений и конфиденциальность пользователей за счет локальной обработки данных. Подробнее…

Основные функции

ML Kit организует свои возможности GenAI по следующим категориям:

Специальные агенты и генерация

Вы можете работать напрямую с базовой моделью Gemini Nano для решения собственных задач:

  • Прямой доступ к модели (с помощью класса GenerativeModel). Генерируйте текст или типизированные структурированные выходные данные на основе собственных текстовых или мультимодальных запросов или управляйте собственной историей чата с несколькими ходами, используя объект List<Content> с ролями USER и MODEL и значением sessionId.
  • Рабочие процессы агентов (с использованием класса AgentRunner). Они создаются на основе класса GenerativeModel и автоматизируют управление многоэтапными сеансами (включая историю чата в памяти) и многошаговые циклы вызова инструментов.

Речь и аудио

Расшифровывайте, переводите и синтезируйте речь на устройстве:

  • Распознавание речи. Преобразование голосового аудио в текст на том же языке.
  • Перевод речи. Переводите голосовое аудио в текст на другом языке в реальном времени.
  • Text to Speech. Синтез речи с естественным звучанием на основе текста.

Задачи с текстом и изображениями

Используйте API, оптимизированные для распространенных задач, связанных с визуальным контентом, написанием текстов и поиском, через высокоуровневый интерфейс:

Архитектура AICore

AICore – это модуль системного уровня. Чтобы выполнять логический вывод на устройстве, вы можете обращаться к AICore через API. Кроме того, в AICore есть несколько встроенных функций безопасности, которые обеспечивают тщательную проверку с помощью наших фильтров безопасности. На следующей диаграмме показано, как приложение обращается к AICore, чтобы запустить Gemini Nano на устройстве.

Диаграмма, показывающая, как приложение Android использует Google AI Edge SDK для доступа к AICore, где Gemini Nano, LoRA и функции безопасности управляются и запускаются на аппаратных ускорителях.
Рисунок 1. AICore служит интерфейсом между вашим приложением и моделью Gemini Nano, управляя обновлениями модели и безопасностью при использовании аппаратного обеспечения устройства.

Обеспечьте конфиденциальность и защиту пользовательских данных

Генеративный искусственный интеллект на устройстве выполняет запросы локально, не обращаясь к серверу. Это позволяет избежать задержек в сети, но скорость вывода зависит от аппаратного обеспечения устройства. Такой подход повышает конфиденциальность, поскольку конфиденциальные данные остаются на устройстве, позволяет работать в офлайн-режиме и снижает затраты на логический вывод.

AICore соответствует принципам Private Compute Core и имеет следующие ключевые характеристики:

  • Ограниченная привязка пакетов. AICore изолирован от большинства других пакетов, за исключением некоторых системных. Изменить этот список можно только при полном беспроводном обновлении Android.
  • Косвенный доступ к интернету. У AICore нет прямого доступа к интернету. Все интернет-запросы, включая скачивание моделей, направляются через сопутствующий APK-файл сервисов конфиденциальных вычислений с открытым исходным кодом. API в сервисах конфиденциальных вычислений должны явно демонстрировать свою ориентированность на конфиденциальность.

Кроме того, AICore изолирует каждый запрос и не хранит записи входных данных или полученных результатов после их обработки, чтобы защитить конфиденциальность пользователей. Чтобы узнать больше, прочитайте запись в блоге Введение в конфиденциальность и безопасность Gemini Nano.

Подробная схема архитектуры AICore, на которой показан поток запросов: API, обработка входных данных с сигналами безопасности, конфигурация функций, среда выполнения с весами моделей и LoRA, а также обработка выходных данных с сигналами безопасности. Также показываются скачивания моделей через сервисы конфиденциальных вычислений.
Рисунок 2. Архитектура AICore управляет безопасностью входных и выходных данных, обработкой запросов и весами модели, чтобы обеспечить безопасную среду для ИИ на устройстве.

Преимущества доступа к базовым ИИ-моделям через AICore

AICore позволяет ОС Android предоставлять базовые ИИ-модели и управлять ими. Это значительно снижает стоимость использования этих больших моделей в вашем приложении, главным образом по следующим причинам:

  • Простота развертывания. AICore управляет распространением Gemini Nano и будущими обновлениями. Вам не нужно беспокоиться о скачивании или обновлении больших моделей по сети, а также о влиянии на диск вашего приложения и бюджет памяти во время выполнения.
  • Ускоренный вывод. AICore использует аппаратное обеспечение устройства, чтобы ускорить вывод. Приложение будет работать максимально эффективно на каждом устройстве, и вам не придется беспокоиться об аппаратных интерфейсах.

Когда использовать гибридный вывод

Хотя Gemini Nano идеально подходит для задач, выполняемых в автономном режиме и требующих конфиденциальности, у него есть ограничения, связанные с работой на устройстве, такие как лимиты токенов, аппаратные ограничения устройства и границы возможностей модели. В таких случаях можно использовать гибридный вывод, чтобы распределить рабочие нагрузки ИИ между локальным устройством и облаком.

Чтобы обеспечить единообразие взаимодействия с пользователями на всех устройствах и обрабатывать сложные запросы, вы можете использовать Firebase AI Logic Hybrid API. Это позволит приложению:

  • Резервные варианты. Если Gemini Nano недоступна или не поддерживается на устройстве пользователя, запросы автоматически перенаправляются в облачные модели Gemini Flash или Gemini Pro.
  • Обеспечьте безопасность. Защитите облачный инференс с помощью Проверка приложений Firebase (и поддерживаемых поставщиков подтверждения, таких как Play Integrity) и храните конфиденциальные системные запросы на стороне сервера.