Tworzenie inteligentnych aplikacji na Androida: wnioskowanie na urządzeniu
Czas czytania: 6 min
Witamy ponownie w serii postów na blogu „Tworzenie inteligentnych aplikacji na Androida”, w której przekształcamy podstawową aplikację na Androida w spersonalizowane, inteligentne i agentowe środowisko. W poprzednim poście przedstawiliśmy Jetpackera, czyli aplikację demonstracyjną, której będziemy używać w tej serii.
W tym poście na blogu wyjaśnimy, jak możesz używać Gemini Nano za pomocą interfejsu Prompt API w ML Kit, aby tworzyć inteligentne funkcje na urządzeniu.
Tworzenie inteligentnych funkcji na urządzeniu odnosi się do możliwości przetwarzania promptów i danych bezpośrednio na urządzeniu bez wysyłania danych na serwer. Ma to kilka zalet:
- Dane użytkownika mogą być przetwarzane lokalnie na urządzeniu, co zapewnia ochronę prywatności użytkownika.
- Funkcje modelu są niezawodne nawet przy niestabilnym połączeniu z internetem lub jego braku.
- Brak dodatkowych kosztów wnioskowania w chmurze, ponieważ wszystko działa na sprzęcie użytkownika.
Mając na uwadze zalety przetwarzania na urządzeniu, zidentyfikowaliśmy 3 funkcje, które można dodać do Jetpackera, aby poprawić wrażenia użytkowników: podsumowywanie planów podróży, zarządzanie wydatkami i nagrywanie notatek głosowych.
Wysokiej jakości dostosowane podsumowanie krótkich tekstów
Ekran planu podróży zawiera krótkie podsumowanie wszystkich aktywności podczas danej podróży. Ten ekran zawiera wiele informacji, więc może szybko stać się przytłaczający. Aby pomóc użytkownikom przygotować się do podróży bez poczucia przytłoczenia, możemy dodać u góry sekcję „Przygotuj się do podróży”.
Wprowadzając plan podróży i prosząc LLM o jego podsumowanie, możemy wygenerować krótkie podsumowanie podróży wraz ze wskazówkami dotyczącymi pakowania i przydatnymi lokalnymi zwrotami. To świetny przykład zastosowania modelu na urządzeniu z kilku powodów:
- Wydajność i jakość: zarówno tekst wejściowy, jak i wyjściowy są stosunkowo krótkie. Dzięki temu możemy oczekiwać, że wydajność i jakość rozwiązania na urządzeniu będą na poziomie bardziej zaawansowanych modeli działających w chmurze.
- Skalowalność: przeniesienie wnioskowania na urządzenie pozwala nam skalować tę funkcję od kilku użytkowników do milionów bez obaw o zarządzanie rosnącymi kosztami wnioskowania w chmurze.
- Małe opóźnienie i niezawodność: wnioskowanie na urządzeniu gwarantuje małe opóźnienie, zapewniając niezawodne działanie nawet wtedy, gdy użytkownicy są offline.
Do tworzenia funkcji działających na urządzeniu używamy Gemini Nano, najbardziej wydajnego modelu Google zoptymalizowanego pod kątem urządzeń mobilnych. Model Gemini Nano został wprowadzony kilka lat temu i obecnie działa na ponad 140 milionach urządzeń. Najnowsza wersja modelu, Gemini Nano 4, jest oparta na architekturze niedawno wydanego modelu Gemma 4 i została dodatkowo zoptymalizowana pod kątem maksymalnej wydajności baterii i działania.
Korzystając z interfejsu Prompt API ML Kit, możemy wykorzystać nowe możliwości modelu Gemini Nano 4 do prototypowania funkcji na urządzeniu. Utworzymy prompta, który zawiera plan podróży, i poprosimy model o wygenerowanie podsumowania wraz ze wskazówkami dotyczącymi przygotowań.
Znalezienie optymalnego prompta zwykle wymaga kilku prób, a aplikacja AICore jest idealna do tego etapu procesu. Po wybraniu opcji wersji przedpremierowej dla programistów w AICore możemy pobrać modele w wersji testowej, takie jak Gemini Nano 4, aby przetestować prompty i zobaczyć oczekiwane wyniki modelu. Po kilku iteracjach promptu udało nam się skrócić czas odpowiedzi z 13 sekund do mniej niż 2 sekund. Ostateczną implementację kodu i prompt znajdziesz tutaj.
Lokalne przetwarzanie poufnych danych wejściowych użytkownika
Następnie, aby pomóc użytkownikom jeszcze bardziej cieszyć się podróżą, stworzymy prostego menedżera wydatków, który wyeliminuje ręczne sortowanie paragonów i obliczanie budżetów.
Ponieważ rachunki mogą zawierać informacje poufne, takie jak numer karty kredytowej i adresy, jest to kolejny świetny przypadek użycia rozwiązania na urządzeniu. Dzięki przetwarzaniu na urządzeniu użytkownicy mogą mieć pewność, że informacje prywatne będą przetwarzane lokalnie na urządzeniu, a żadne dane nie będą wysyłane do chmury.
Ponadto Gemini Nano 4 ma ulepszone możliwości multimodalne, zwłaszcza w przypadku zadań związanych z rozpoznawaniem obrazów, takich jak OCR i wyodrębnianie danych wizualnych, dzięki czemu jest doskonałym rozwiązaniem do zadań takich jak wyodrębnianie informacji z paragonów.
W tym przypadku prompt przeanalizuje obraz paragonu i wygeneruje informacje takie jak: tytuł, wydana kwota i kategoria wydatku. Aby mieć pewność, że dane wyjściowe modelu będą generować informacje w preferowanym formacie, możemy użyć interfejsu Structured Output API w ML Kit, który bezproblemowo wygeneruje zdefiniowany przez nas obiekt danych Kotlin.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseDane wejściowe w różnych trybach
Na koniec, aby pomóc użytkownikom nagrywać notatki głosowe podczas podróży, utwórzmy funkcję notatek głosowych działającą w pełni na urządzeniu. Za pomocą interfejsu Speech Recognition API w ML Kit umożliwimy użytkownikom nagrywanie krótkich notatek głosowych, które będą automatycznie przekształcane na tekst. Na podstawie transkrypcji tekstu użyjemy interfejsu Prompt API ML Kit, aby określić, która aktywność podczas podróży jest powiązana z nagraną notatką głosową. Dzięki temu użytkownicy będą mogli łatwo podsumować swoją podróż, przeglądając jej plan.
Interfejs ML Kit GenAI Speech Recognition API umożliwia transkrypcję treści audio na tekst w pełni na urządzeniu przy użyciu 2 różnych trybów. Tryb podstawowy korzysta z tradycyjnego modelu rozpoznawania mowy na urządzeniu i jest dostępny na większości urządzeń z Androidem z interfejsem API na poziomie 31 lub wyższym. Tryb zaawansowany wykorzystuje Gemini Nano, aby zapewnić lepszą jakość i obsługę większej liczby języków. Obecnie jest on obsługiwany na urządzeniach Pixel 10.
W naszej funkcji łączymy interfejs Speech Recognition API z interfejsem Prompt API generatywnej AI w ML Kit:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}Podsumowanie
Dzięki interfejsom API GenAI w ML Kit mogliśmy wykorzystać Gemini Nano do opracowania w pełni inteligentnych funkcji na urządzeniu w aplikacji JetPacker i zapewnić użytkownikom lepsze wrażenia bez dodatkowych kosztów związanych z chmurą.
Pełny kod źródłowy Jetpackera znajdziesz na GitHubie. Obejrzyj też film Tworzenie inteligentnych aplikacji na Androida za pomocą AI od Google, aby dowiedzieć się więcej o integrowaniu inteligentnych funkcji bezpośrednio z aplikacją przy użyciu modeli na urządzeniu, wnioskowania w chmurze i najnowszych platform agentowych.
Więcej informacji
Zobacz inne części tej serii postów na blogu:
Część 1. Przedstawienie aplikacji i ogólne informacje na jej temat.
Część 2 (ten post): Inteligentne technologie na urządzeniu. Poznaj interfejsy API generatywnej AI w ML Kit i Gemini Nano, aby tworzyć funkcje skoncentrowane na ochronie prywatności, takie jak podsumowywanie planu podróży, analizowanie paragonów i lokalne przetwarzanie dźwięku.
Część 3. Wnioskowanie hybrydowe i w chmurze. Dowiedz się, jak używać Firebase AI Logic do groundingu odpowiedzi LLM z użyciem danych z prawdziwego świata, takich jak Mapy Google i kontekst internetowy.
Część 4. Integracja systemów. integracja z systemem AI na Androidzie za pomocą funkcji aplikacji;
Część 5 (Już wkrótce): Agentic Workflows w aplikacji. Rozszerz aplikację o kompleksowego asystenta rezerwacji opartego na A2UI i ADK.
Chcesz dowiedzieć się więcej o tworzeniu aplikacji na Androida? Obserwuj Android Developers na YouTube lub LinkedIn.
Wszystkie fragmenty kodu w tym poście na blogu są objęte tym powiadomieniem o prawach autorskich:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
InstrukcjeWitamy ponownie w serii postów na blogu „Tworzenie inteligentnych aplikacji na Androida”, w której bierzemy podstawową aplikację na Androida i przekształcamy ją w spersonalizowane, inteligentne i agentowe środowisko.
Thomas Ezan, Jolanda Verhoef, Caren Chang • Czas czytania: 8 min -
InstrukcjeWitamy ponownie w serii postów na blogu „Tworzenie inteligentnych aplikacji na Androida”, w której przekształcamy podstawową aplikację na Androida w spersonalizowaną, inteligentną i agentową. W poprzednim poście dowiedzieliście się, jak połączyć się z systemem AI za pomocą funkcji AppFunctions.
Jolanda Verhoef • Czas czytania: 9 min -
InstrukcjeJetpacker to aplikacja techniczna, którą nasz zespół stworzył od podstaw na tegoroczną konferencję Google I/O (przy użyciu Antigravity). Jetpacker pomaga użytkownikom planować i odkrywać kolejne wielkie przygody oraz czerpać z nich radość.
Jolanda Verhoef • Czas czytania: 4 min
Otrzymuj co tydzień najnowsze informacje o tworzeniu aplikacji na Androida na swoją skrzynkę odbiorczą.