Инструкции

Создавайте умные приложения для Android: интегрируйте их в интеллектуальную систему Android с помощью AppFunctions

Время на чтение: 6 минут
Посмотреть профиль Бена Вайса
Ben Weiss Developer Relations Engineer

Добро пожаловать в серию записей блога Создание умных приложений для Android, в которой мы берем базовое приложение для Android и превращаем его в персонализированное, умное и агентное. В предыдущей записи мы рассказали, как использовать Firebase AI Logic для создания облачных и гибридных ИИ-функций.

Традиционные мобильные интерфейсы отлично подходят для выполнения конкретных задач вручную, а интеллектуальная система Android предлагает дополнительные функции, которые упрощают сложные многоэтапные действия. AppFunctions дополняют традиционные пользовательские интерфейсы, предоставляя новую точку входа: привилегированный агент на устройстве может получать доступ к функциям приложения в фоновом режиме. Это может быть особенно полезно, когда пользователи за рулем, идут пешком или заняты другими делами.

В этой статье мы расскажем, как разработали и интегрировали эти возможности в наше приложение для планирования путешествий JetPacker с помощью Android AppFunctions. Мы расскажем, почему выбрали именно эти функции, обсудим специализированные инструменты, которые помогли нам ускорить разработку, и разберем код, благодаря которому все работает.

Разработка функций на основе ИИ: как принимать решения, важные для пользователей

Чтобы выбрать, какие функции предоставить интеллектуальной системе, мы искали задачи, в которых голосовая или текстовая команда объективно быстрее, чем нажатие на экраны. На этой записи видео с экрана вы можете увидеть контраст: слева пользователь нажимает на несколько экранов, чтобы зарегистрировать расход; справа та же задача мгновенно выполняется в фоновом режиме с помощью привилегированного агента.

Первым делом мы решили создать приложение для отслеживания расходов. Чтобы зафиксировать расходы на кофе во время поездки, обычно требуется немало действий: разблокировать телефон, открыть приложение, найти активную поездку, перейти на вкладку расходов, нажать кнопку добавления, сфотографировать чек и проверить результат. Если вы предоставите функции addExpense и getExpenses как AppFunctions, системный агент возьмет на себя основную работу. Когда пользователь говорит "Добавь в расходы на поездку в Париж пять долларов за кофе", агент автоматически ищет в фоновом режиме идентификатор нужной поездки и добавляет расход, полностью пропуская ручной процесс в интерфейсе.

Мы также уделили особое внимание управлению маршрутами. Чтобы узнать, что запланировано дальше, обычно приходится прокручивать длинную временную шкалу. Если пользователь предоставит системе доступ к getItinerary и addItineraryEvent, он сможет просто спросить: "Что у меня запланировано в Париже?" – и сразу получить ответ.

Наконец, мы сосредоточились на создании заметок без помощи рук. Набирать текст на ходу, особенно на оживленной улице, неудобно и небезопасно. Если у агента есть доступ к функции голосовых заметок, пользователь может сказать: "Полет был отличным, я видел красивый закат и хорошо выспался". Агент автоматически расшифрует эту запись и сохранит ее в базе данных путешествий с помощью AppFunction addVoiceNote.

Android MCP на основе AppFunctions

Все это работает на базе Android MCP. В этом случае приложение действует как локальный MCP-сервер. Вместо удаленных API вы предоставляете функции приложения непосредственно системе искусственного интеллекта на устройстве.

Android AppFunctions – это API, который воплощает эту концепцию в жизнь. Он считывает аннотированные функции Kotlin и компилирует их в типобезопасные определения инструментов в изолированной среде, которые агент с повышенными привилегиями может обнаруживать и вызывать локально на устройстве.

Android MCP diagram.png
Диаграмма, показывающая, как наши приложения, платформа Android и системные агенты координируют AppFunctions.

В модели MCP для Android ваше приложение действует как локальный MCP-сервер, который предоставляет структурированные инструменты, а платформа Android служит центральным реестром инструментов. На стороне клиента MCP приложения-агенты регистрируются в интеллектуальной системе после того, как им предоставляются системные разрешения на доступ к реестру.

Когда пользователь взаимодействует с зарегистрированным агентом, его LLM определяет, может ли запрос быть обработан AppFunction, запрашивает метаданные платформы и выполняет соответствующие зарегистрированные функции в фоновом режиме. Такая архитектура локального клиента-сервера MCP дает вам полный контроль: вы сами выбираете, к каким функциям у агента будет доступ, а остальные данные приложения остаются конфиденциальными.

Как мы ускорили разработку благодаря навыкам работы с Android

Чтобы упростить процесс интеграции, мы использовали навык разработки AppFunctions. Навык разработки AppFunctions – это полноценный помощник в разработке. Он помог нам на всех этапах жизненного цикла: от сопоставления классов данных Kotlin для сериализации параметров и создания необходимых точек входа Service до доработки документации KDoc, чтобы LLM понимала границы параметров, и настройки автоматического тестирования с помощью adb.

Предоставление функций приложения интеллектуальной системе

Достаточно теории, давайте перейдем к реализации.

Настройка конфигурации и зависимостей

Сначала добавим зависимости AppFunctions. Один для API и один для компилятора Kotlin Symbol Processing.

implementation("androidx.appfunctions:appfunctions:1.0.0-alpha10")
ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-alpha10")

Моделирование пользовательских типов данных

Любой пользовательский объект, которым обмениваются с агентом, должен быть аннотирован с помощью @AppFunctionSerializable. В файле TripSerializable.kt мы определяем модель данных поездки:

@AppFunctionSerializable(isDescribedByKDoc = true)
data class TripSerializable(
    /** The trip's unique identifier. */
    val id: String,
    /** The trip's title. */
    val title: String,
    /** The trip's destination location. */
    val location: String,
    /** The trip's start date in milliseconds. */
    val startDate: Long,
    /** The trip's end date in milliseconds. */
    val endDate: Long,
    /** A list of participants. */
    val participants: List<String>,
)

Предоставление функций с помощью аннотации @AppFunction

Затем навык написал функции Kotlin, которые выполняют запросы к базе данных, и добавил к ним аннотацию @AppFunction. Это можно увидеть в searchTrip:

/**
 * Looks for trips based on optional filters like id, title (name), location, and dates.
 *
 * @param id The unique identifier of the trip.
 * @param title The title or name of the trip.
 * @param location The destination location.
 * @param startDate The minimum start date in milliseconds.
 * @param endDate The maximum end date in milliseconds.
 * @return A list of trips matching the filters.
 */
@AppFunction(isDescribedByKDoc = true)
suspend fun searchTrip(
    id: String? = null,
    title: String? = null,
    location: String? = null,
    startDate: Long? = null,
    endDate: Long? = null
): List<TripSerializable> {
    return withContext(Dispatchers.IO) {
    // implementation
}

Поскольку функции AppFunctions по умолчанию выполняются в потоке UI, мы используем withContext(Dispatchers.IO), чтобы переключиться на фоновый диспетчер. Кроме того, мы улучшаем KDoc, используя понятные глаголы в повелительном наклонении и указывая ограничения параметров. Эта документация компилируется непосредственно в схему инструмента, которую агент с повышенными привилегиями использует для разрешения параметров и обработки ошибок выполнения.

Точка входа в сервис и интеграция Hilt

Чтобы зарегистрировать эти функции в системе искусственного интеллекта, мы создаем абстрактный базовый класс, который расширяет AppFunctionService. Мы добавляем к нему аннотацию @AppFunctionServiceEntryPoint:

@RequiresApi(36)
@AndroidEntryPoint
@AppFunctionServiceEntryPoint(
    serviceName = "JetPackerAppFunctionService",
    appFunctionXmlFileName = "jetpacker_app_function_service"
)
abstract class BaseJetPackerAppFunctionService : AppFunctionService() {
    @Inject internal lateinit var tripDao: TripDao
    // DAOs and database references are injected here...
}

Во время компиляции KSP генерирует окончательный подкласс сервиса JetPackerAppFunctionService, объявленный с параметром serviceName. Мы также регистрируем app_metadata.xml в манифесте приложения. В этом файле содержатся глобальные правила работы для объявленных AppFunctions в JetPacker.

Тестирование и проверка AppFunctions

После реализации AppFunctions необходимо проверить, что они зарегистрированы и работают правильно.

Если вы используете устройства или эмуляторы с Android 17 или более поздней версии, то можете вызывать функции и получать их список с помощью команд ADB в терминале. При запуске adb shell cmd app_function list-app-functions отображаются все зарегистрированные функции для вашего пакета. Затем вы можете выполнить определенную функцию и протестировать ее интеграцию с базой данных, запустив adb shell cmd app_function execute-app-function и передав необработанную строку параметров JSON.

Вместо этих команд ADB вы также можете использовать AppFunctions Testing Agent, чтобы проверять конфигурацию, просматривать список функций приложения и выполнять их, а также наблюдать за их поведением в реальном диалоге.

Конечный результат

Чтобы понять, какие функции приложения можно добавить в интеллектуальную систему с помощью AppFunctions, нужно немного изменить подход к коду и документации. AppFunctions позволяют использовать эту новую модель взаимодействия для приложений, которая позволяет использовать агента для доступа к функциям приложения.

Навык разработки AppFunctions – это важный инструмент жизненного цикла, который помогает находить функции, а также внедрять и улучшать AppFunctions для приложений. Во-вторых, комментарии KDoc – это скомпилированный объект API. Понятные описания параметров напрямую влияют на точность выполнения системного агента. Наконец, Android MCP обеспечивает локальное выполнение, позволяя приложениям безопасно взаимодействовать с ИИ-агентами.

Добавление функций приложения через AppFunctions позволяет подготовить его к работе с интеллектуальной системой. Расскажите, как вы адаптируете свои приложения к эпохе агентов.

Подробнее…

Ознакомьтесь с другими частями этой серии записей в блоге:
Часть 1. Введение в приложение и общий обзор.
Часть 2. Искусственный интеллект на устройстве. Узнайте, как с помощью GenAI API в ML Kit и Gemini Nano создавать функции, ориентированные на конфиденциальность, например обобщение маршрутов, обработку чеков и локальную обработку аудио.
Часть 3. Гибридные и облачные рассуждения. Узнайте, как использовать Firebase AI Logic, чтобы ответы LLM основывались на реальных данных, например из Google Карт и веб-контекста.
Часть 4 (эта статья): Интеграция систем. Интеграция с интеллектуальной системой Android с помощью AppFunctions.
Часть 5 (скоро). Рабочие процессы с агентами в приложении. Добавьте в приложение помощника по бронированию на основе A2UI и ADK.

Хотите узнать больше о разработке для Android? Подпишитесь на Android Developers в YouTube или LinkedIn.

Все фрагменты кода в этой записи блога защищены следующим уведомлением об авторских правах:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Автор:
Продолжить чтение