Создавайте умные приложения для Android: интегрируйте их в интеллектуальную систему Android с помощью AppFunctions
Время на чтение: 6 минут
Добро пожаловать в серию записей блога Создание умных приложений для Android, в которой мы берем базовое приложение для Android и превращаем его в персонализированное, умное и агентное. В предыдущей записи мы рассказали, как использовать Firebase AI Logic для создания облачных и гибридных ИИ-функций.
Традиционные мобильные интерфейсы отлично подходят для выполнения конкретных задач вручную, а интеллектуальная система Android предлагает дополнительные функции, которые упрощают сложные многоэтапные действия. AppFunctions дополняют традиционные пользовательские интерфейсы, предоставляя новую точку входа: привилегированный агент на устройстве может получать доступ к функциям приложения в фоновом режиме. Это может быть особенно полезно, когда пользователи за рулем, идут пешком или заняты другими делами.
В этой статье мы расскажем, как разработали и интегрировали эти возможности в наше приложение для планирования путешествий JetPacker с помощью Android AppFunctions. Мы расскажем, почему выбрали именно эти функции, обсудим специализированные инструменты, которые помогли нам ускорить разработку, и разберем код, благодаря которому все работает.
Разработка функций на основе ИИ: как принимать решения, важные для пользователей
Чтобы выбрать, какие функции предоставить интеллектуальной системе, мы искали задачи, в которых голосовая или текстовая команда объективно быстрее, чем нажатие на экраны. На этой записи видео с экрана вы можете увидеть контраст: слева пользователь нажимает на несколько экранов, чтобы зарегистрировать расход; справа та же задача мгновенно выполняется в фоновом режиме с помощью привилегированного агента.
Первым делом мы решили создать приложение для отслеживания расходов. Чтобы зафиксировать расходы на кофе во время поездки, обычно требуется немало действий: разблокировать телефон, открыть приложение, найти активную поездку, перейти на вкладку расходов, нажать кнопку добавления, сфотографировать чек и проверить результат. Если вы предоставите функции addExpense и getExpenses как AppFunctions, системный агент возьмет на себя основную работу. Когда пользователь говорит "Добавь в расходы на поездку в Париж пять долларов за кофе", агент автоматически ищет в фоновом режиме идентификатор нужной поездки и добавляет расход, полностью пропуская ручной процесс в интерфейсе.
Мы также уделили особое внимание управлению маршрутами. Чтобы узнать, что запланировано дальше, обычно приходится прокручивать длинную временную шкалу. Если пользователь предоставит системе доступ к getItinerary и addItineraryEvent, он сможет просто спросить: "Что у меня запланировано в Париже?" – и сразу получить ответ.
Наконец, мы сосредоточились на создании заметок без помощи рук. Набирать текст на ходу, особенно на оживленной улице, неудобно и небезопасно. Если у агента есть доступ к функции голосовых заметок, пользователь может сказать: "Полет был отличным, я видел красивый закат и хорошо выспался". Агент автоматически расшифрует эту запись и сохранит ее в базе данных путешествий с помощью AppFunction addVoiceNote.
Android MCP на основе AppFunctions
Все это работает на базе Android MCP. В этом случае приложение действует как локальный MCP-сервер. Вместо удаленных API вы предоставляете функции приложения непосредственно системе искусственного интеллекта на устройстве.
Android AppFunctions – это API, который воплощает эту концепцию в жизнь. Он считывает аннотированные функции Kotlin и компилирует их в типобезопасные определения инструментов в изолированной среде, которые агент с повышенными привилегиями может обнаруживать и вызывать локально на устройстве.
В модели MCP для Android ваше приложение действует как локальный MCP-сервер, который предоставляет структурированные инструменты, а платформа Android служит центральным реестром инструментов. На стороне клиента MCP приложения-агенты регистрируются в интеллектуальной системе после того, как им предоставляются системные разрешения на доступ к реестру.
Когда пользователь взаимодействует с зарегистрированным агентом, его LLM определяет, может ли запрос быть обработан AppFunction, запрашивает метаданные платформы и выполняет соответствующие зарегистрированные функции в фоновом режиме. Такая архитектура локального клиента-сервера MCP дает вам полный контроль: вы сами выбираете, к каким функциям у агента будет доступ, а остальные данные приложения остаются конфиденциальными.
Как мы ускорили разработку благодаря навыкам работы с Android
Чтобы упростить процесс интеграции, мы использовали навык разработки AppFunctions. Навык разработки AppFunctions – это полноценный помощник в разработке. Он помог нам на всех этапах жизненного цикла: от сопоставления классов данных Kotlin для сериализации параметров и создания необходимых точек входа Service до доработки документации KDoc, чтобы LLM понимала границы параметров, и настройки автоматического тестирования с помощью adb.
Предоставление функций приложения интеллектуальной системе
Достаточно теории, давайте перейдем к реализации.
Настройка конфигурации и зависимостей
Сначала добавим зависимости AppFunctions. Один для API и один для компилятора Kotlin Symbol Processing.
implementation("androidx.appfunctions:appfunctions:1.0.0-alpha10")
ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-alpha10")Моделирование пользовательских типов данных
Любой пользовательский объект, которым обмениваются с агентом, должен быть аннотирован с помощью @AppFunctionSerializable. В файле TripSerializable.kt мы определяем модель данных поездки:
@AppFunctionSerializable(isDescribedByKDoc = true) data class TripSerializable( /** The trip's unique identifier. */ val id: String, /** The trip's title. */ val title: String, /** The trip's destination location. */ val location: String, /** The trip's start date in milliseconds. */ val startDate: Long, /** The trip's end date in milliseconds. */ val endDate: Long, /** A list of participants. */ val participants: List<String>, )
Предоставление функций с помощью аннотации @AppFunction
Затем навык написал функции Kotlin, которые выполняют запросы к базе данных, и добавил к ним аннотацию @AppFunction. Это можно увидеть в searchTrip:
/** * Looks for trips based on optional filters like id, title (name), location, and dates. * * @param id The unique identifier of the trip. * @param title The title or name of the trip. * @param location The destination location. * @param startDate The minimum start date in milliseconds. * @param endDate The maximum end date in milliseconds. * @return A list of trips matching the filters. */ @AppFunction(isDescribedByKDoc = true) suspend fun searchTrip( id: String? = null, title: String? = null, location: String? = null, startDate: Long? = null, endDate: Long? = null ): List<TripSerializable> { return withContext(Dispatchers.IO) { // implementation }
Поскольку функции AppFunctions по умолчанию выполняются в потоке UI, мы используем withContext(Dispatchers.IO), чтобы переключиться на фоновый диспетчер. Кроме того, мы улучшаем KDoc, используя понятные глаголы в повелительном наклонении и указывая ограничения параметров. Эта документация компилируется непосредственно в схему инструмента, которую агент с повышенными привилегиями использует для разрешения параметров и обработки ошибок выполнения.
Точка входа в сервис и интеграция Hilt
Чтобы зарегистрировать эти функции в системе искусственного интеллекта, мы создаем абстрактный базовый класс, который расширяет AppFunctionService. Мы добавляем к нему аннотацию @AppFunctionServiceEntryPoint:
@RequiresApi(36) @AndroidEntryPoint @AppFunctionServiceEntryPoint( serviceName = "JetPackerAppFunctionService", appFunctionXmlFileName = "jetpacker_app_function_service" ) abstract class BaseJetPackerAppFunctionService : AppFunctionService() { @Inject internal lateinit var tripDao: TripDao // DAOs and database references are injected here... }
Во время компиляции KSP генерирует окончательный подкласс сервиса JetPackerAppFunctionService, объявленный с параметром serviceName. Мы также регистрируем app_metadata.xml в манифесте приложения. В этом файле содержатся глобальные правила работы для объявленных AppFunctions в JetPacker.
Тестирование и проверка AppFunctions
После реализации AppFunctions необходимо проверить, что они зарегистрированы и работают правильно.
Если вы используете устройства или эмуляторы с Android 17 или более поздней версии, то можете вызывать функции и получать их список с помощью команд ADB в терминале. При запуске adb shell cmd app_function list-app-functions отображаются все зарегистрированные функции для вашего пакета. Затем вы можете выполнить определенную функцию и протестировать ее интеграцию с базой данных, запустив adb shell cmd app_function execute-app-function и передав необработанную строку параметров JSON.
Вместо этих команд ADB вы также можете использовать AppFunctions Testing Agent, чтобы проверять конфигурацию, просматривать список функций приложения и выполнять их, а также наблюдать за их поведением в реальном диалоге.
Конечный результат
Чтобы понять, какие функции приложения можно добавить в интеллектуальную систему с помощью AppFunctions, нужно немного изменить подход к коду и документации. AppFunctions позволяют использовать эту новую модель взаимодействия для приложений, которая позволяет использовать агента для доступа к функциям приложения.
Навык разработки AppFunctions – это важный инструмент жизненного цикла, который помогает находить функции, а также внедрять и улучшать AppFunctions для приложений. Во-вторых, комментарии KDoc – это скомпилированный объект API. Понятные описания параметров напрямую влияют на точность выполнения системного агента. Наконец, Android MCP обеспечивает локальное выполнение, позволяя приложениям безопасно взаимодействовать с ИИ-агентами.
Добавление функций приложения через AppFunctions позволяет подготовить его к работе с интеллектуальной системой. Расскажите, как вы адаптируете свои приложения к эпохе агентов.
Подробнее…
Ознакомьтесь с другими частями этой серии записей в блоге:
Часть 1. Введение в приложение и общий обзор.
Часть 2. Искусственный интеллект на устройстве. Узнайте, как с помощью GenAI API в ML Kit и Gemini Nano создавать функции, ориентированные на конфиденциальность, например обобщение маршрутов, обработку чеков и локальную обработку аудио.
Часть 3. Гибридные и облачные рассуждения. Узнайте, как использовать Firebase AI Logic, чтобы ответы LLM основывались на реальных данных, например из Google Карт и веб-контекста.
Часть 4 (эта статья): Интеграция систем. Интеграция с интеллектуальной системой Android с помощью AppFunctions.
Часть 5 (скоро). Рабочие процессы с агентами в приложении. Добавьте в приложение помощника по бронированию на основе A2UI и ADK.
Хотите узнать больше о разработке для Android? Подпишитесь на Android Developers в YouTube или LinkedIn.
Все фрагменты кода в этой записи блога защищены следующим уведомлением об авторских правах:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
ИнструкцииДобро пожаловать в серию публикаций "Создание умных приложений для Android". В ней мы рассказываем, как превратить базовое приложение для Android в персонализированное, умное и агентное. В предыдущей записи мы рассказали, как подключиться к интеллектуальной системе с помощью AppFunctions.
Jolanda Verhoef • Время на чтение: 9 минут -
ИнструкцииДобро пожаловать в серию публикаций "Создание умных приложений для Android". В ней мы берем базовое приложение для Android и превращаем его в персонализированное, умное и агентное.
Thomas Ezan, Jolanda Verhoef, Caren Chang • Чтение займет 8 минут -
ИнструкцииДобро пожаловать в серию публикаций "Создание умных приложений для Android". В ней мы берем базовое приложение для Android и превращаем его в персонализированное, умное и агентное. В предыдущей записи мы представили Jetpacker – демонстрационное приложение, которое будем использовать в этой серии статей.
Caren Chang • Время на чтение: 6 минут
Получайте еженедельную рассылку с последними новостями о разработке для Android.