Инструкции

Создание интеллектуальных приложений для Android: инференс на устройстве

Время на чтение: 6 минут
Посмотреть профиль Карен Чанг
Caren Chang Developer Relations Engineer

Мы продолжаем серию публикаций "Создание умных приложений для Android", в которой рассказываем, как превратить базовое приложение для Android в персонализированное, умное и агентное. В предыдущей статье мы представили Jetpacker – демонстрационное приложение, которое будем использовать в этой серии статей. 

В этой записи блога мы расскажем, как использовать Gemini Nano через Prompt API в ML Kit, чтобы создавать умные функции на устройстве.

Создание интеллектуальных функций на устройстве означает возможность обрабатывать запросы и данные непосредственно на устройстве без отправки данных на сервер. Это дает несколько преимуществ: 

  • Пользовательские данные могут обрабатываться локально на устройстве, что обеспечивает конфиденциальность пользователя.
  • Функции модели надежны даже при нестабильном подключении к интернету или его отсутствии.
  • Нет дополнительных расходов на облачный инференс, поскольку все выполняется на оборудовании пользователя.

Учитывая преимущества обработки данных на устройстве, мы решили добавить в Jetpacker три функции, которые улучшат пользовательский опыт: краткий пересказ маршрутов поездок, управление расходами и запись голосовых заметок.

Screenshot 2026-07-02 at 12.57.08 PM.png
Функции на устройстве в Jetpacker: краткий пересказ маршрутов поездок, управление расходами и голосовые заметки.

Качественное обобщение коротких текстов

На экране маршрута пользователи могут быстро посмотреть все мероприятия в поездке. Поскольку этот экран содержит много информации, он может быстро стать перегруженным. Чтобы помочь пользователям подготовиться к поездке, не перегружая их информацией, мы можем добавить вверху раздел Подготовка к поездке.

Screenshot_20260702_111934.png
Романтическая поездка в Париж описывается как классическое парижское приключение, сочетающее в себе искусство, достопримечательности и вкусную еду. Также добавлены подсказка и несколько полезных фраз.

Если ввести маршрут поездки и попросить LLM обобщить его, мы можем получить краткое резюме поездки, а также советы по упаковке вещей и полезные местные фразы. Это отличный пример использования модели на устройстве по нескольким причинам: 

  • Производительность и качество. Исходный и выходной текст относительно короткие. Благодаря этому производительность и качество локального решения будут на одном уровне с более мощными облачными моделями.
  • Масштабируемость. Перенос вывода на устройство позволяет масштабировать эту функцию с нескольких пользователей до миллионов, не беспокоясь об управлении растущими затратами на облачный вывод.
  • Низкая задержка и надежность. Локальный вывод гарантирует низкую задержку и надежную работу даже в офлайн-режиме.

Для работы на устройстве мы используем Gemini Nano – самую эффективную модель Google, оптимизированную для мобильных устройств. Gemini Nano была представлена несколько лет назад и сейчас работает более чем на 140 миллионах устройств. Последняя версия модели, Gemini Nano 4, основана на архитектуре недавно выпущенной модели Gemma 4 и оптимизирована для максимальной эффективности батареи и производительности. 

Prompt API из ML Kit позволяет использовать возможности новой модели Gemini Nano 4 для создания прототипов функций, работающих на устройстве. Мы создадим запрос, который включает маршрут поездки, и попросим модель сгенерировать сводку и советы по подготовке.

Чтобы найти оптимальный запрос, обычно требуется несколько итераций, и приложение AICore идеально подходит для этого этапа процесса. После того как вы включите предварительную версию AICore для разработчиков, вы сможете скачать предварительные версии моделей, например Gemini Nano 4, чтобы протестировать запросы и посмотреть, какие результаты выдает модель. После нескольких итераций запроса нам удалось сократить время ответа с 13 секунд до менее чем 2 секунд. Посмотрите итоговый код и запрос.

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
Первая итерация нашего запроса сгенерировала слишком много токенов, и его оптимизация помогла сделать ответы быстрыми и точными.

Локальная обработка конфиденциальных данных, введенных пользователем

Чтобы пользователям было проще следить за расходами в поездке, мы создадим простой менеджер расходов, который избавит от необходимости вручную сортировать чеки и рассчитывать бюджет. 

Поскольку чеки могут содержать конфиденциальную информацию, например номер кредитной карты и адреса, это ещё один отличный вариант использования решения на устройстве. При обработке на устройстве пользователи могут быть уверены, что конфиденциальная информация будет обрабатываться локально на устройстве и никакие данные не будут отправляться в облако.

Кроме того, Gemini Nano 4 имеет улучшенные возможности модели для мультимодальности, особенно для задач понимания содержания изображений, таких как OCR и извлечение визуальных данных. Это делает ее отличным решением для таких задач, как извлечение информации из чеков.

В этом случае запрос проанализирует изображение чека и выведет такую информацию, как сгенерированный заголовок, потраченная сумма и категория расходов. Чтобы выходные данные модели выводились в нужном формате, мы можем использовать Structured Output API в ML Kit. Он позволяет без проблем выводить определенный нами объект данных Kotlin.

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

Мультимодальный ввод

Наконец, чтобы помочь пользователям записывать аудиозаметки во время поездки, давайте создадим функцию голосовых заметок, полностью работающую на устройстве. С помощью Speech Recognition API в ML Kit пользователи смогут записывать короткие голосовые заметки, которые будут автоматически преобразовываться в текст. Затем Prompt API из ML Kit определяет, к какому событию относится заметка, чтобы пользователи могли легко вспомнить поездку, просматривая маршрут. 

Screenshot_20260702_115529.png
Маршрут римских каникул с выдержками из голосовых заметок.

ML Kit GenAI Speech Recognition API позволяет преобразовывать аудиоконтент в текст полностью на устройстве, используя два разных режима. Базовый режим использует традиционную модель распознавания речи на устройстве и доступен на большинстве устройств Android с API уровня 31 и выше. Расширенный режим использует Gemini Nano, чтобы обеспечить поддержку большего количества языков и более высокое качество. Сейчас он доступен на устройствах Pixel 10.

Для нашей функции мы объединяем Speech Recognition API с ML Kit GenAI Prompt API:

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

Заключение

Используя GenAI API из ML Kit, мы смогли задействовать Gemini Nano для разработки интеллектуальных функций, работающих полностью на устройстве, и улучшить приложение JetPacker, не тратясь на облачные сервисы.

Посмотрите полный исходный код Jetpacker на GitHub и видео Как создавать умные приложения для Android с помощью ИИ от Google, чтобы узнать больше о том, как интегрировать интеллектуальные функции непосредственно в приложение, используя модели на устройстве, облачные вычисления и новейшие агентные фреймворки.

Подробнее…

Другие записи из этой серии:

Часть 1. Знакомство с приложением и общий обзор.

Часть 2 (эта запись): Искусственный интеллект на устройстве. Узнайте больше о GenAI API в ML Kit и Gemini Nano, чтобы создавать функции, ориентированные на конфиденциальность, например обобщение маршрутов, анализ чеков и локальную обработку аудио.

Часть 3. Гибридные и облачные рассуждения. Узнайте, как использовать Firebase AI Logic, чтобы обосновывать ответы LLM на основе реальных данных, например Google Карт и веб-контекста.

Часть 4. Интеграция системы. Интеграция с интеллектуальной системой Android с помощью AppFunctions.

Часть 5 (скоро). Рабочие процессы с агентами в приложениях. Добавьте в приложение помощника по бронированию на основе A2UI и ADK.

Хотите узнать больше о разработке для Android? Подпишитесь на Android Developers в YouTube или LinkedIn.

Все фрагменты кода в этой записи блога защищены следующим уведомлением об авторских правах:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Автор:
Продолжить чтение