Гибридный вывод

Google предоставляет широкий выбор передовых моделей ИИ и API как для облачного, так и для локального выполнения задач. Гибридный подход позволяет беспрепятственно распределять рабочие нагрузки ИИ между локальным устройством и облаком, оптимизируя производительность, стоимость и доступность.

Гибридный вывод предоставляет вашему Android-приложению два основных преимущества:

  • Максимальный охват : облачные модели служат важным резервным вариантом, когда встроенные модели, такие как Gemini Nano, недоступны из-за аппаратных ограничений устройства или операционной системы. Это помогает гарантировать, что ваши функции ИИ останутся работоспособными на максимально широком спектре пользовательских устройств.
  • Стоимость и возможности работы в автономном режиме : модели, устанавливаемые на устройстве, помогают обеспечить бесперебойную работу функций ИИ, когда пользователь находится в автономном режиме. Кроме того, перенос рутинных задач на локальное устройство помогает снизить затраты на облачные вычисления.
Диаграмма, иллюстрирующая обоснование выбора между выводом данных на устройстве и выводом данных в облаке.
Рисунок 1 : Соответствующие преимущества вывода данных на устройстве и вывода данных в облаке.

Варианты реализации

Для реализации гибридного вывода можно использовать следующие подходы:

Firebase AI Logic Hybrid API

API Firebase AI Logic Hybrid предоставляет единый унифицированный интерфейс для разделения процессов вывода между облачной средой и средой на устройстве.

Он включает параметр onDeviceConfig , предоставляющий простые средства управления для определения режима вывода и управления маршрутизацией:

  • PREFER_ON_DEVICE : попытка использовать модель, размещенную на устройстве, с автоматическим переключением на облачную модель, если модель, размещенная на устройстве, недоступна или не поддерживается для данного запроса.
  • PREFER_IN_CLOUD : пытается использовать облачную модель, когда устройство подключено к сети и модель доступна, переключаясь на модель, размещенную на устройстве, только если устройство находится в автономном режиме.
  • ONLY_ON_DEVICE : пытается использовать модель, установленную на устройстве, но генерирует исключение, если она недоступна или не поддерживается для данного запроса.
  • ONLY_IN_CLOUD : пытается использовать облачную модель, когда устройство подключено к сети и модель доступна; во всех остальных случаях генерируется исключение. 
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-2.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)
    )


val response = model.generateContent("Write a story about a green robot.")
print(response.text)

Для получения подробной информации о реализации ознакомьтесь с документацией Firebase и изучите пример гибридного ИИ в каталоге ИИ .

Пользовательская маршрутизация

Если ваше приложение имеет специфические бизнес-требования или требования к пользовательскому интерфейсу, вы также можете реализовать собственную логику маршрутизации. Это позволяет динамически определять путь маршрутизации на основе факторов в реальном времени, таких как:

  • Задержка сети
  • Состояние системы устройства (например, уровень заряда батареи и загрузка процессора)
  • Сложность запросов пользователей

Этот гибридный подход к выводу данных, разработанный специально для этих приложений, используется ведущими разработчиками, которые реализовали собственную маршрутизацию для обеспечения надежной работы ИИ, в том числе:

  • GBoard : Gboard использует собственную гибридную систему вывода для обеспечения работы инструментов написания, таких как проверка орфографии и переписывание текста.

  • Kakao Mobility : Компания Kakao Mobility разработала инструмент извлечения сущностей с использованием собственной гибридной модели вывода для своей службы доставки посылок, который автоматически извлекает имена, адреса и номера телефонов получателей из сообщений на естественном языке для оптимизации форм заказов.