Создание интеллектуальных приложений для Android: инференс на устройстве
Время на чтение: 6 минут
Мы продолжаем серию публикаций "Создание умных приложений для Android", в которой рассказываем, как превратить базовое приложение для Android в персонализированное, умное и агентное. В предыдущей статье мы представили Jetpacker – демонстрационное приложение, которое будем использовать в этой серии статей.
В этой записи блога мы расскажем, как использовать Gemini Nano через Prompt API в ML Kit, чтобы создавать умные функции на устройстве.
Создание интеллектуальных функций на устройстве означает возможность обрабатывать запросы и данные непосредственно на устройстве без отправки данных на сервер. Это дает несколько преимуществ:
- Пользовательские данные могут обрабатываться локально на устройстве, что обеспечивает конфиденциальность пользователя.
- Функции модели надежны даже при нестабильном подключении к интернету или его отсутствии.
- Нет дополнительных расходов на облачный инференс, поскольку все выполняется на оборудовании пользователя.
Учитывая преимущества обработки данных на устройстве, мы решили добавить в Jetpacker три функции, которые улучшат пользовательский опыт: краткий пересказ маршрутов поездок, управление расходами и запись голосовых заметок.
Качественное обобщение коротких текстов
На экране маршрута пользователи могут быстро посмотреть все мероприятия в поездке. Поскольку этот экран содержит много информации, он может быстро стать перегруженным. Чтобы помочь пользователям подготовиться к поездке, не перегружая их информацией, мы можем добавить вверху раздел Подготовка к поездке.
Если ввести маршрут поездки и попросить LLM обобщить его, мы можем получить краткое резюме поездки, а также советы по упаковке вещей и полезные местные фразы. Это отличный пример использования модели на устройстве по нескольким причинам:
- Производительность и качество. Исходный и выходной текст относительно короткие. Благодаря этому производительность и качество локального решения будут на одном уровне с более мощными облачными моделями.
- Масштабируемость. Перенос вывода на устройство позволяет масштабировать эту функцию с нескольких пользователей до миллионов, не беспокоясь об управлении растущими затратами на облачный вывод.
- Низкая задержка и надежность. Локальный вывод гарантирует низкую задержку и надежную работу даже в офлайн-режиме.
Для работы на устройстве мы используем Gemini Nano – самую эффективную модель Google, оптимизированную для мобильных устройств. Gemini Nano была представлена несколько лет назад и сейчас работает более чем на 140 миллионах устройств. Последняя версия модели, Gemini Nano 4, основана на архитектуре недавно выпущенной модели Gemma 4 и оптимизирована для максимальной эффективности батареи и производительности.
Prompt API из ML Kit позволяет использовать возможности новой модели Gemini Nano 4 для создания прототипов функций, работающих на устройстве. Мы создадим запрос, который включает маршрут поездки, и попросим модель сгенерировать сводку и советы по подготовке.
Чтобы найти оптимальный запрос, обычно требуется несколько итераций, и приложение AICore идеально подходит для этого этапа процесса. После того как вы включите предварительную версию AICore для разработчиков, вы сможете скачать предварительные версии моделей, например Gemini Nano 4, чтобы протестировать запросы и посмотреть, какие результаты выдает модель. После нескольких итераций запроса нам удалось сократить время ответа с 13 секунд до менее чем 2 секунд. Посмотрите итоговый код и запрос.
Локальная обработка конфиденциальных данных, введенных пользователем
Чтобы пользователям было проще следить за расходами в поездке, мы создадим простой менеджер расходов, который избавит от необходимости вручную сортировать чеки и рассчитывать бюджет.
Поскольку чеки могут содержать конфиденциальную информацию, например номер кредитной карты и адреса, это ещё один отличный вариант использования решения на устройстве. При обработке на устройстве пользователи могут быть уверены, что конфиденциальная информация будет обрабатываться локально на устройстве и никакие данные не будут отправляться в облако.
Кроме того, Gemini Nano 4 имеет улучшенные возможности модели для мультимодальности, особенно для задач понимания содержания изображений, таких как OCR и извлечение визуальных данных. Это делает ее отличным решением для таких задач, как извлечение информации из чеков.
В этом случае запрос проанализирует изображение чека и выведет такую информацию, как сгенерированный заголовок, потраченная сумма и категория расходов. Чтобы выходные данные модели выводились в нужном формате, мы можем использовать Structured Output API в ML Kit. Он позволяет без проблем выводить определенный нами объект данных Kotlin.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseМультимодальный ввод
Наконец, чтобы помочь пользователям записывать аудиозаметки во время поездки, давайте создадим функцию голосовых заметок, полностью работающую на устройстве. С помощью Speech Recognition API в ML Kit пользователи смогут записывать короткие голосовые заметки, которые будут автоматически преобразовываться в текст. Затем Prompt API из ML Kit определяет, к какому событию относится заметка, чтобы пользователи могли легко вспомнить поездку, просматривая маршрут.
ML Kit GenAI Speech Recognition API позволяет преобразовывать аудиоконтент в текст полностью на устройстве, используя два разных режима. Базовый режим использует традиционную модель распознавания речи на устройстве и доступен на большинстве устройств Android с API уровня 31 и выше. Расширенный режим использует Gemini Nano, чтобы обеспечить поддержку большего количества языков и более высокое качество. Сейчас он доступен на устройствах Pixel 10.
Для нашей функции мы объединяем Speech Recognition API с ML Kit GenAI Prompt API:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}Заключение
Используя GenAI API из ML Kit, мы смогли задействовать Gemini Nano для разработки интеллектуальных функций, работающих полностью на устройстве, и улучшить приложение JetPacker, не тратясь на облачные сервисы.
Посмотрите полный исходный код Jetpacker на GitHub и видео Как создавать умные приложения для Android с помощью ИИ от Google, чтобы узнать больше о том, как интегрировать интеллектуальные функции непосредственно в приложение, используя модели на устройстве, облачные вычисления и новейшие агентные фреймворки.
Подробнее…
Другие записи из этой серии:
Часть 1. Знакомство с приложением и общий обзор.
Часть 2 (эта запись): Искусственный интеллект на устройстве. Узнайте больше о GenAI API в ML Kit и Gemini Nano, чтобы создавать функции, ориентированные на конфиденциальность, например обобщение маршрутов, анализ чеков и локальную обработку аудио.
Часть 3. Гибридные и облачные рассуждения. Узнайте, как использовать Firebase AI Logic, чтобы обосновывать ответы LLM на основе реальных данных, например Google Карт и веб-контекста.
Часть 4. Интеграция системы. Интеграция с интеллектуальной системой Android с помощью AppFunctions.
Часть 5 (скоро). Рабочие процессы с агентами в приложениях. Добавьте в приложение помощника по бронированию на основе A2UI и ADK.
Хотите узнать больше о разработке для Android? Подпишитесь на Android Developers в YouTube или LinkedIn.
Все фрагменты кода в этой записи блога защищены следующим уведомлением об авторских правах:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
ИнструкцииДобро пожаловать в серию публикаций "Создание умных приложений для Android". В ней мы берем базовое приложение для Android и превращаем его в персонализированное, умное и агентное.
Thomas Ezan, Jolanda Verhoef, Caren Chang • Чтение займет 8 минут -
ИнструкцииДобро пожаловать в серию публикаций "Создание умных приложений для Android". В ней мы рассказываем, как превратить базовое приложение для Android в персонализированное, умное и агентное. В предыдущей записи мы рассказали, как подключиться к интеллектуальной системе с помощью AppFunctions.
Jolanda Verhoef • Время на чтение: 9 минут -
ИнструкцииJetpacker – это техническое демонстрационное приложение, которое наша команда создала с нуля для Google I/O этого года (с использованием Antigravity). Jetpacker помогает пользователям планировать путешествия, исследовать новые места и наслаждаться приключениями.
Jolanda Verhoef • Время на чтение: 4 минуты
Получайте еженедельную рассылку с последними новостями о разработке для Android.