Willkommen zurück zur Blogpost-Reihe „Intelligente Android-Apps entwickeln“. In dieser Reihe nehmen wir eine einfache Android-App und verwandeln sie in eine personalisierte, intelligente und agentische Umgebung. In unserem vorherigen Beitrag haben wir Jetpacker vorgestellt, die Demo-App, die wir in dieser Reihe verwenden.
In diesem Blogpost erfahren Sie, wie Sie Gemini Nano über die Prompt API des ML Kit verwenden können, um intelligente On-Device-Funktionen zu entwickeln.
Die Entwicklung intelligenter On-Device-Funktionen bezieht sich auf die Fähigkeit, Prompts und Daten direkt auf einem Gerät zu verarbeiten, ohne Daten an einen Server zu senden. Das bietet einige Vorteile:
- Nutzerdaten können lokal auf dem Gerät verarbeitet werden, um den Datenschutz (für Nutzer) zu wahren.
- Die Funktionalität des Modells ist auch bei schlechter oder fehlender Internetverbindung zuverlässig.
- Keine zusätzlichen Kosten für die Cloud-Inferenz, da alles auf der Hardware des Nutzers ausgeführt wird
In Anbetracht der Vorteile von On-Device-KI haben wir drei Funktionen identifiziert, die wir Jetpacker hinzufügen können, um die Nutzerfreundlichkeit zu verbessern: Zusammenfassen von Reiseplänen, Verwalten von Ausgaben und Aufnehmen von Sprachnotizen.
Hochwertige, maßgeschneiderte Zusammenfassung kurzer Texte
Der Reiseplan-Bildschirm bietet Nutzern einen schnellen Überblick über alle Aktivitäten für eine bestimmte Reise. Da dieser Bildschirm viele Informationen enthält, kann er schnell unübersichtlich werden. Damit Nutzer sich vorbereiten können, ohne sich überfordert zu fühlen, können wir oben den Bereich Bereite dich auf deine Reise vor hinzufügen.
Wenn Sie einen Reiseplan eingeben und ein LLM bitten, ihn zusammenzufassen, können Sie eine kurze Zusammenfassung der Reise sowie Packtipps und nützliche Redewendungen in der Landessprache generieren. Dies ist aus mehreren Gründen ein hervorragender Anwendungsfall für ein On-Device-Modell:
- Leistung und Qualität: Sowohl der Eingabe- als auch der Ausgabetext sind relativ kurz. Damit können wir davon ausgehen, dass die Leistung und Qualität einer On-Device-Lösung mit leistungsstärkeren Cloud-Modellen vergleichbar ist.
- Skalierbarkeit: Durch die Verlagerung der Inferenz auf das Gerät können wir diese Funktion von wenigen Nutzern auf Millionen skalieren, ohne uns Gedanken über die Verwaltung steigender Kosten für die Cloud-Inferenz machen zu müssen.
- Niedrige Latenz und Zuverlässigkeit: Die On-Device-Inferenz garantiert eine niedrige Latenz und sorgt für eine zuverlässige Nutzung, auch wenn Nutzer offline sind.
Für die Entwicklung von On-Device-Anwendungen verwenden wir Gemini Nano, das effizienteste Modell von Google, das für Mobilgeräte optimiert ist. Gemini Nano wurde vor einigen Jahren eingeführt und läuft mittlerweile auf über 140 Millionen Geräten. Die aktuelle Version des Modells, Gemini Nano 4, basiert auf der Architektur des kürzlich veröffentlichten Gemma 4-Modells und ist für maximale Akku- und Leistungseffizienz optimiert.
Mit der Prompt API von ML Kit können wir die neuen Modellfunktionen von Gemini Nano 4 nutzen, um Prototypen für unsere On-Device-Funktionen zu erstellen. Wir erstellen einen Prompt, der den Reiseplan einer Reise enthält, und bitten das Modell, eine Zusammenfassung sowie Tipps zur Vorbereitung zu generieren.
Um den optimalen Prompt zu finden, sind in der Regel einige Iterationen erforderlich. Die AICore App ist für diesen Schritt im Prozess perfekt geeignet. Nachdem du die Entwicklervorschau für AICore aktiviert hast, kannst du Vorschaumodelle wie Gemini Nano 4 herunterladen, um Prompts zu testen und die erwarteten Ausgaben des Modells zu sehen. Nach einigen Iterationen des Prompts konnten wir die Antwortzeit von 13 Sekunden auf unter 2 Sekunden verbessern. Hier finden Sie die endgültige Codeimplementierung und den Prompt.
Lokale Verarbeitung für vertrauliche Nutzereingaben
Als Nächstes erstellen wir einen einfachen Ausgabenmanager, der Nutzern die manuelle Arbeit beim Sortieren von Belegen und Berechnen von Budgets abnimmt, damit sie ihre Reise noch mehr genießen können.
Da Belege vertrauliche Informationen wie Kreditkartennummern und Adressen enthalten können, ist dies ein weiterer hervorragender Anwendungsfall für eine On-Device-Lösung. Bei der Verarbeitung auf dem Gerät können Nutzer sicher sein, dass private Informationen lokal auf dem Gerät verarbeitet werden, ohne dass Daten an die Cloud gesendet werden.
Außerdem bietet Gemini Nano 4 verbesserte Modellfunktionen für Multimodalität, insbesondere für Aufgaben im Bereich Bildverständnis wie OCR und visuelle Datenextraktion. Das macht es zu einer hervorragenden Lösung für Aufgaben wie das Extrahieren von Informationen aus Belegen.
In diesem Anwendungsfall wird ein Bild des Belegs analysiert und Informationen wie ein generierter Titel, der ausgegebene Betrag und die Kategorie der Ausgabe werden ausgegeben. Damit die Modellausgabe im gewünschten Format erfolgt, können wir die Structured Output API von ML Kit verwenden, um ein von uns definiertes Kotlin-Datenobjekt nahtlos auszugeben.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseMultimodale Eingabe
Und schließlich wollen wir eine Funktion für Sprachnotizen entwickeln, die vollständig auf dem Gerät ausgeführt wird, damit Nutzer während der Fahrt Audionotizen aufnehmen können. Mit der Speech Recognition API von ML Kit können Nutzer kurze Sprachnotizen aufnehmen, die automatisch in Text transkribiert werden. Anhand des transkribierten Textes wird mithilfe der Prompt API von ML Kit ermittelt, welche Reiseaktivität mit der aufgezeichneten Sprachnotiz verknüpft ist. So können Nutzer ihre Reise ganz einfach noch einmal Revue passieren lassen, während sie durch den Reiseplan scrollen.
Mit der ML Kit GenAI Speech Recognition API können Sie Audioinhalte vollständig auf dem Gerät in Text transkribieren. Dazu stehen zwei verschiedene Modi zur Verfügung. Der Basic-Modus verwendet ein herkömmliches Modell zur Spracherkennung auf dem Gerät und ist auf den meisten Android-Geräten mit API-Level 31 und höher verfügbar. Der erweiterte Modus verwendet Gemini Nano, um eine größere Sprachabdeckung und bessere Qualität zu bieten. Er wird derzeit auf Pixel 10-Geräten unterstützt.
Für unsere Funktion kombinieren wir die Speech Recognition API mit der ML Kit GenAI Prompt API:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}Fazit
Mithilfe der GenAI APIs von ML Kit konnten wir Gemini Nano nutzen, um vollständig auf dem Gerät ausgeführte intelligente Funktionen für die JetPacker-App zu entwickeln und die Nutzerfreundlichkeit ohne zusätzliche Cloud-Kosten zu verbessern.
Den vollständigen Quellcode für Jetpacker finden Sie auf GitHub. Im Video Intelligente Android-Apps mit der KI von Google erstellen erfahren Sie mehr darüber, wie Sie intelligente Funktionen mithilfe von On-Device-Modellen, cloudbasiertem Reasoning und den neuesten agentischen Frameworks direkt in Ihre App einbinden können.
Weitere Informationen
Sehen Sie sich die anderen Teile dieser Blogpost-Reihe an:
Teil 1: Vorstellung der App und allgemeiner Überblick.
Teil 2 (dieser Beitrag): On-Device-Technologie: In diesem Vortrag geht es um die GenAI APIs von ML Kit und Gemini Nano, mit denen Sie datenschutzorientierte Funktionen wie die Zusammenfassung von Reiseplänen, das Parsen von Belegen und die lokale Audioverarbeitung entwickeln können.
Teil 3: Hybrid- und Cloud-Reasoning. Hier erfahren Sie, wie Sie mit Firebase AI Logic LLM-Antworten mit realen Daten wie Google Maps und Webkontext fundieren können.
Teil 4: Systemintegration. Integration in das Android-Intelligence-System mithilfe von AppFunctions.
Teil 5 (demnächst verfügbar): Agentische Workflows in der App. Erweitern Sie die Anwendung um einen End-to-End-Buchungsassistenten, der auf A2UI und ADK basiert.
Möchten Sie mehr über die Android-Entwicklung erfahren? Folgen Sie Android-Entwicklern auf YouTube oder LinkedIn.
Für alle Code-Snippets in diesem Blogpost gilt der folgende Urheberrechtshinweis:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
AnleitungenWillkommen zurück bei der Blogpost-Reihe „Intelligente Android-Apps entwickeln“. Hier zeigen wir Ihnen, wie Sie eine einfache Android-App in eine personalisierte, intelligente und agentische Anwendung verwandeln.
Thomas Ezan, Jolanda Verhoef, Caren Chang • Lesezeit: 8 Minuten -
AnleitungenWillkommen zurück bei der Blogpost-Reihe „Intelligente Android-Apps entwickeln“. Hier erfahren Sie, wie Sie eine einfache Android-App in eine personalisierte, intelligente und agentische Anwendung verwandeln. In unserem vorherigen Beitrag haben Sie erfahren, wie Sie mithilfe von AppFunctions eine Verbindung zum KI-System herstellen.
Jolanda Verhoef • Lesezeit: 9 Minuten -
AnleitungenJetpacker ist eine technische Showcase-App, die unser Team für die diesjährige Google I/O von Grund auf neu entwickelt hat (mit Antigravity). Im Kern hilft Jetpacker Nutzern, ihr nächstes großes Abenteuer zu planen, zu erkunden und zu genießen.
Jolanda Verhoef • Lesezeit: 4 Minuten
Lassen Sie sich Woche für Woche die neuesten Informationen zur Android-Entwicklung zusenden.