Instrukcje

Tworzenie inteligentnych aplikacji na Androida: wnioskowanie na urządzeniu

Czas czytania: 6 min
Wyświetl profil Caren Chang
Caren Chang Inżynier ds. relacji z deweloperami

Witamy ponownie w serii postów na blogu „Tworzenie inteligentnych aplikacji na Androida”, w której przekształcamy podstawową aplikację na Androida w spersonalizowane, inteligentne i agentowe środowisko. W poprzednim poście przedstawiliśmy Jetpackera, czyli aplikację demonstracyjną, której będziemy używać w tej serii. 

W tym poście na blogu wyjaśnimy, jak możesz używać Gemini Nano za pomocą interfejsu Prompt API w ML Kit, aby tworzyć inteligentne funkcje na urządzeniu.

Tworzenie inteligentnych funkcji na urządzeniu odnosi się do możliwości przetwarzania promptów i danych bezpośrednio na urządzeniu bez wysyłania danych na serwer. Ma to kilka zalet: 

  • Dane użytkownika mogą być przetwarzane lokalnie na urządzeniu, co zapewnia ochronę prywatności użytkownika.
  • Funkcje modelu są niezawodne nawet przy niestabilnym połączeniu z internetem lub jego braku.
  • Brak dodatkowych kosztów wnioskowania w chmurze, ponieważ wszystko działa na sprzęcie użytkownika.

Mając na uwadze zalety przetwarzania na urządzeniu, zidentyfikowaliśmy 3 funkcje, które można dodać do Jetpackera, aby poprawić wrażenia użytkowników: podsumowywanie planów podróży, zarządzanie wydatkami i nagrywanie notatek głosowych.

Screenshot 2026-07-02 at 12.57.08 PM.png
Funkcje na urządzeniu w aplikacji Jetpacker: podsumowywanie planów podróży, zarządzanie wydatkami i notatki głosowe.

Wysokiej jakości dostosowane podsumowanie krótkich tekstów

Ekran planu podróży zawiera krótkie podsumowanie wszystkich aktywności podczas danej podróży. Ten ekran zawiera wiele informacji, więc może szybko stać się przytłaczający. Aby pomóc użytkownikom przygotować się do podróży bez poczucia przytłoczenia, możemy dodać u góry sekcję „Przygotuj się do podróży”.

Screenshot_20260702_111934.png
Romantyczna wycieczka do Paryża została podsumowana jako klasyczna paryska przygoda łącząca sztukę, zwiedzanie i pyszne jedzenie. Dodano też wskazówkę i kilka przydatnych zwrotów.

Wprowadzając plan podróży i prosząc LLM o jego podsumowanie, możemy wygenerować krótkie podsumowanie podróży wraz ze wskazówkami dotyczącymi pakowania i przydatnymi lokalnymi zwrotami. To świetny przykład zastosowania modelu na urządzeniu z kilku powodów: 

  • Wydajność i jakość: zarówno tekst wejściowy, jak i wyjściowy są stosunkowo krótkie. Dzięki temu możemy oczekiwać, że wydajność i jakość rozwiązania na urządzeniu będą na poziomie bardziej zaawansowanych modeli działających w chmurze.
  • Skalowalność: przeniesienie wnioskowania na urządzenie pozwala nam skalować tę funkcję od kilku użytkowników do milionów bez obaw o zarządzanie rosnącymi kosztami wnioskowania w chmurze.
  • Małe opóźnienie i niezawodność: wnioskowanie na urządzeniu gwarantuje małe opóźnienie, zapewniając niezawodne działanie nawet wtedy, gdy użytkownicy są offline.

Do tworzenia funkcji działających na urządzeniu używamy Gemini Nano, najbardziej wydajnego modelu Google zoptymalizowanego pod kątem urządzeń mobilnych. Model Gemini Nano został wprowadzony kilka lat temu i obecnie działa na ponad 140 milionach urządzeń. Najnowsza wersja modelu, Gemini Nano 4, jest oparta na architekturze niedawno wydanego modelu Gemma 4 i została dodatkowo zoptymalizowana pod kątem maksymalnej wydajności baterii i działania. 

Korzystając z interfejsu Prompt API ML Kit, możemy wykorzystać nowe możliwości modelu Gemini Nano 4 do prototypowania funkcji na urządzeniu. Utworzymy prompta, który zawiera plan podróży, i poprosimy model o wygenerowanie podsumowania wraz ze wskazówkami dotyczącymi przygotowań.

Znalezienie optymalnego prompta zwykle wymaga kilku prób, a aplikacja AICore jest idealna do tego etapu procesu. Po wybraniu opcji wersji przedpremierowej dla programistów w AICore możemy pobrać modele w wersji testowej, takie jak Gemini Nano 4, aby przetestować prompty i zobaczyć oczekiwane wyniki modelu. Po kilku iteracjach promptu udało nam się skrócić czas odpowiedzi z 13 sekund do mniej niż 2 sekund. Ostateczną implementację kodu i prompt znajdziesz tutaj.

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
Pierwsza wersja naszego prompta wygenerowała zbyt wiele tokenów, a jego optymalizacja pomogła nam uzyskać szybkie i trafne odpowiedzi.

Lokalne przetwarzanie poufnych danych wejściowych użytkownika

Następnie, aby pomóc użytkownikom jeszcze bardziej cieszyć się podróżą, stworzymy prostego menedżera wydatków, który wyeliminuje ręczne sortowanie paragonów i obliczanie budżetów. 

Ponieważ rachunki mogą zawierać informacje poufne, takie jak numer karty kredytowej i adresy, jest to kolejny świetny przypadek użycia rozwiązania na urządzeniu. Dzięki przetwarzaniu na urządzeniu użytkownicy mogą mieć pewność, że informacje prywatne będą przetwarzane lokalnie na urządzeniu, a żadne dane nie będą wysyłane do chmury.

Ponadto Gemini Nano 4 ma ulepszone możliwości multimodalne, zwłaszcza w przypadku zadań związanych z rozpoznawaniem obrazów, takich jak OCR i wyodrębnianie danych wizualnych, dzięki czemu jest doskonałym rozwiązaniem do zadań takich jak wyodrębnianie informacji z paragonów.

W tym przypadku prompt przeanalizuje obraz paragonu i wygeneruje informacje takie jak: tytuł, wydana kwota i kategoria wydatku. Aby mieć pewność, że dane wyjściowe modelu będą generować informacje w preferowanym formacie, możemy użyć interfejsu Structured Output API w ML Kit, który bezproblemowo wygeneruje zdefiniowany przez nas obiekt danych Kotlin.

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

Dane wejściowe w różnych trybach

Na koniec, aby pomóc użytkownikom nagrywać notatki głosowe podczas podróży, utwórzmy funkcję notatek głosowych działającą w pełni na urządzeniu. Za pomocą interfejsu Speech Recognition API w ML Kit umożliwimy użytkownikom nagrywanie krótkich notatek głosowych, które będą automatycznie przekształcane na tekst. Na podstawie transkrypcji tekstu użyjemy interfejsu Prompt API ML Kit, aby określić, która aktywność podczas podróży jest powiązana z nagraną notatką głosową. Dzięki temu użytkownicy będą mogli łatwo podsumować swoją podróż, przeglądając jej plan. 

Screenshot_20260702_115529.png
Plan podróży do Rzymu z wyciągami z notatek głosowych.

Interfejs ML Kit GenAI Speech Recognition API umożliwia transkrypcję treści audio na tekst w pełni na urządzeniu przy użyciu 2 różnych trybów. Tryb podstawowy korzysta z tradycyjnego modelu rozpoznawania mowy na urządzeniu i jest dostępny na większości urządzeń z Androidem z interfejsem API na poziomie 31 lub wyższym. Tryb zaawansowany wykorzystuje Gemini Nano, aby zapewnić lepszą jakość i obsługę większej liczby języków. Obecnie jest on obsługiwany na urządzeniach Pixel 10.

W naszej funkcji łączymy interfejs Speech Recognition API z interfejsem Prompt API generatywnej AI w ML Kit:

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

Podsumowanie

Dzięki interfejsom API GenAI w ML Kit mogliśmy wykorzystać Gemini Nano do opracowania w pełni inteligentnych funkcji na urządzeniu w aplikacji JetPacker i zapewnić użytkownikom lepsze wrażenia bez dodatkowych kosztów związanych z chmurą.

Pełny kod źródłowy Jetpackera znajdziesz na GitHubie. Obejrzyj też film Tworzenie inteligentnych aplikacji na Androida za pomocą AI od Google, aby dowiedzieć się więcej o integrowaniu inteligentnych funkcji bezpośrednio z aplikacją przy użyciu modeli na urządzeniu, wnioskowania w chmurze i najnowszych platform agentowych.

Więcej informacji

Zobacz inne części tej serii postów na blogu:

Część 1. Przedstawienie aplikacji i ogólne informacje na jej temat.

Część 2 (ten post): Inteligentne technologie na urządzeniu. Poznaj interfejsy API generatywnej AI w ML Kit i Gemini Nano, aby tworzyć funkcje skoncentrowane na ochronie prywatności, takie jak podsumowywanie planu podróży, analizowanie paragonów i lokalne przetwarzanie dźwięku.

Część 3. Wnioskowanie hybrydowe i w chmurze. Dowiedz się, jak używać Firebase AI Logic do groundingu odpowiedzi LLM z użyciem danych z prawdziwego świata, takich jak Mapy Google i kontekst internetowy.

Część 4. Integracja systemów. integracja z systemem AI na Androidzie za pomocą funkcji aplikacji;

Część 5 (Już wkrótce): Agentic Workflows w aplikacji. Rozszerz aplikację o kompleksowego asystenta rezerwacji opartego na A2UI i ADK.

Chcesz dowiedzieć się więcej o tworzeniu aplikacji na Androida? Obserwuj Android Developers na YouTube lub LinkedIn.

Wszystkie fragmenty kodu w tym poście na blogu są objęte tym powiadomieniem o prawach autorskich:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Autor:
Czytaj dalej