ברוכים השבים לסדרת הפוסטים בבלוג "פיתוח אפליקציות חכמות ל-Android", שבה אנחנו לוקחים אפליקציה בסיסית ל-Android והופכים אותה לחוויה מותאמת אישית, חכמה ומבוססת-סוכנים. בפוסט הקודם שלנו הצגנו את Jetpacker, אפליקציית ההדגמה שנשתמש בה לאורך הסדרה הזו.
בפוסט הזה בבלוג נסביר איך אתם יכולים להשתמש ב-Gemini Nano דרך Prompt API של ML Kit כדי ליצור תכונות חכמות במכשיר.
פיתוח תכונות חכמות במכשיר מתייחס ליכולת לעבד הנחיות ונתונים ישירות במכשיר בלי לשלוח נתונים לשרת. יש לכך כמה יתרונות:
- אפשר לעבד את נתוני המשתמשים באופן מקומי במכשיר, וכך לשמור על פרטיות המשתמשים.
- הפונקציונליות של המודל אמינה גם כשהחיבור לאינטרנט לא יציב או לא קיים
- אין עלות נוספת של הסקת מסקנות בענן, כי הכול פועל בחומרה של המשתמש
כדי לנצל את היתרונות של עיבוד במכשיר, זיהינו שלוש תכונות שאפשר להוסיף ל-Jetpacker כדי לשפר את חוויית המשתמש: סיכום מסלולי נסיעה, ניהול הוצאות והקלטת הערות קוליות.
סיכום מותאם אישית באיכות גבוהה של טקסטים קצרים
מסך מסלול הנסיעה מספק למשתמשים סקירה כללית מהירה של כל הפעילויות בנסיעה מסוימת. המסך הזה מכיל הרבה מידע, ולכן הוא יכול להיראות עמוס. כדי לעזור למשתמשים להתכונן בלי להרגיש מוצפים, אפשר להוסיף את הקטע "מתכוננים לנסיעה" בחלק העליון.
אם נזין מסלול נסיעה ונבקש מ-LLM לסכם אותו, נוכל ליצור סיכום מהיר של הנסיעה, וגם טיפים לאריזה וביטויים מקומיים שימושיים. זהו תרחיש שימוש מצוין למודל במכשיר מכמה סיבות:
- ביצועים ואיכות: גם טקסט הקלט וגם טקסט הפלט קצרים יחסית. לכן, אפשר לצפות שהביצועים והאיכות של פתרון במכשיר יהיו דומים לאלה של מודלים חזקים יותר בענן.
- יכולת התאמה לעומס (Scalability): העברת ההסקה למכשיר מאפשרת לנו להרחיב את התכונה הזו מכמה משתמשים למיליונים, בלי לדאוג לניהול העלויות הגדלות של ההסקה בענן.
- זמן אחזור קצר ואמינות: הסקת מסקנות במכשיר מבטיחה זמן אחזור קצר, ומספקת חוויה אמינה גם כשהמשתמשים במצב אופליין.
כדי ליצור תוכן במכשיר, אנחנו משתמשים ב-Gemini Nano, המודל הכי יעיל של Google שעבר אופטימיזציה למכשירים ניידים. השקנו את Gemini Nano לפני כמה שנים, ועכשיו הוא פועל ביותר מ-140 מיליון מכשירים. הגרסה העדכנית של המודל, Gemini Nano 4, מבוססת על הארכיטקטורה של מודל Gemma 4 שהושק לאחרונה, והיא עברה אופטימיזציה נוספת כדי לשפר את חיי הסוללה והביצועים.
בעזרת Prompt API של ML Kit, אנחנו יכולים לנצל את יכולות המודל החדשות של Gemini Nano 4 כדי ליצור אב טיפוס של התכונות במכשיר. ניצור הנחיה שכוללת את מסלול הנסיעה ונבקש מהמודל ליצור סיכום וטיפים להכנה.
כדי למצוא את ההנחיה האופטימלית, בדרך כלל צריך לבצע כמה חזרות, ואפליקציית AICore מושלמת לשלב הזה בתהליך. אחרי שמצטרפים לתצוגה מקדימה למפתחים של AICore, אפשר להוריד מודלים בגרסת טרום-השקה כמו Gemini Nano 4 כדי לבדוק פרומפטים ולראות את הפלט הצפוי של המודל. אחרי כמה שינויים בהנחיה, הצלחנו לשפר את מהירות התגובה מ-13 שניות לפחות מ-2 שניות. כאן אפשר לראות את ההנחיה ואת הטמעת הקוד הסופית.
עיבוד מקומי של קלט רגיש של משתמשים
אחר כך, כדי לעזור למשתמשים ליהנות מהטיול עוד יותר, נבנה מנהל הוצאות פשוט שיחסוך את העבודה הידנית של מיון קבלות וחישוב תקציבים.
קבלות יכולות להכיל מידע רגיש כמו מספר כרטיס אשראי וכתובות, ולכן זה עוד תרחיש שימוש מצוין לפתרון במכשיר. כשהעיבוד מתבצע במכשיר, המשתמשים יכולים להיות בטוחים שהמידע הפרטי שלהם יעובד באופן מקומי במכשיר, בלי שהנתונים יישלחו לענן.
בנוסף, ל-Gemini Nano 4 יש יכולות מודל משופרות למולטי-מודאליות, במיוחד למשימות של הבנת תמונות כמו OCR וחילוץ נתונים חזותיים, מה שהופך אותו לפתרון מצוין למשימות כמו חילוץ מידע מקבלות.
במקרה הזה, ההנחיה תנתח תמונה של הקבלה ותפיק מידע כמו: כותרת שנוצרה, סכום ההוצאה וקטגוריית ההוצאה. כדי לוודא שהמודל יוציא את המידע בפורמט המועדף, אנחנו יכולים להשתמש ב-Structured Output API של ML Kit כדי להוציא בצורה חלקה אובייקט נתונים של Kotlin שאנחנו מגדירים.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseקלט מולטי-מודאלי
ולבסוף, כדי לעזור למשתמשים להקליט תזכורות קוליות במהלך הנסיעה, נבנה תכונה של הערות קוליות שפועלת במלואה במכשיר. באמצעות Speech Recognition API של ML Kit, נאפשר למשתמשים להקליט הערות קוליות קצרות שיתומללו אוטומטית לטקסט. בעזרת הטקסט המתומלל, נשתמש ב-Prompt API של ML Kit כדי לזהות איזו פעילות בנסיעה משויכת להודעה הקולית המוקלטת, וכך המשתמשים יוכלו לסכם בקלות את הנסיעה שלהם בזמן שהם גוללים במסלול הנסיעה.
ה-API של ML Kit GenAI לזיהוי דיבור מאפשר לתמלל תוכן אודיו לטקסט במכשיר עצמו בשני מצבים שונים. במצב בסיסי נעשה שימוש במודל זיהוי דיבור רגיל במכשיר, והוא זמין ברוב מכשירי Android עם רמת API ברמה 31 ומעלה. מצב מתקדם משתמש ב-Gemini Nano כדי להציע כיסוי שפה רחב יותר ואיכות טובה יותר, ונתמך כרגע במכשירי Pixel 10.
בתכונה שלנו אנחנו משלבים את Speech Recognition API עם ML Kit GenAI Prompt API:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}סיכום
בעזרת ממשקי ה-API של GenAI ב-ML Kit, הצלחנו להשתמש ב-Gemini Nano כדי לפתח תכונות חכמות שפועלות במכשיר עצמו באפליקציית JetPacker, ולספק חוויית משתמש משופרת בלי עלויות נוספות של שירותי ענן.
אתם יכולים לעיין בקוד המקור המלא של Jetpacker ב-GitHub, ולצפות בסרטון פיתוח אפליקציות חכמות ל-Android באמצעות ה-AI מבית Google כדי לקבל מידע נוסף על שילוב תכונות חכמות ישירות באפליקציה באמצעות מודלים במכשיר, הסקת מסקנות מבוססת-ענן ומסגרות הסוכנים העדכניות ביותר.
מידע נוסף
כדאי לקרוא את החלקים האחרים בסדרת הפוסטים הזו בבלוג:
חלק 1: מבוא לאפליקציה וסקירה כללית.
חלק 2 (הפוסט הזה!): בינה מובנית במכשיר. הסבר מעמיק על ממשקי ה-API של AI גנרטיבי ב-ML Kit ועל Gemini Nano, שמאפשרים לפתח תכונות מוכוונות פרטיות, כמו סיכום מסלול נסיעה, ניתוח קבלות ועיבוד אודיו מקומי.
חלק 3: הסקה היברידית ובענן. איך משתמשים ב-Firebase AI Logic כדי לעגן תשובות של מודלים גדולים של שפה (LLM) בנתונים מהעולם האמיתי, כמו מפות Google והקשר באינטרנט.
חלק 4: שילוב מערכות. שילוב עם מערכת הבינה המלאכותית של Android באמצעות AppFunctions.
חלק 5 (בקרוב): Agentic Workflows באפליקציה. להרחיב את האפליקציה באמצעות עוזר אישי להזמנות מקצה לקצה, שמופעל על ידי A2UI ו-ADK.
רוצים לדעת עוד על פיתוח ל-Android? כדאי לעקוב אחרי Android Developers ב-YouTube או ב-LinkedIn.
כל קטעי הקוד בפוסט הזה בבלוג כפופים להודעה הבאה על זכויות יוצרים:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
מדריכיםברוכים השבים לסדרת הפוסטים בבלוג "פיתוח אפליקציות חכמות ל-Android", שבה אנחנו לוקחים אפליקציה בסיסית ל-Android והופכים אותה לחוויה מותאמת אישית, חכמה וסוכנית.
Thomas Ezan, Jolanda Verhoef, Caren Chang • משך הקריאה: 8 דקות -
מדריכיםברוכים השבים לסדרת הפוסטים בבלוג "פיתוח אפליקציות חכמות ל-Android", שבה אתם לוקחים אפליקציה בסיסית ל-Android והופכים אותה לחוויה מותאמת אישית, חכמה ופרואקטיבית. בפוסט הקודם שלנו למדתם איך להתחבר למערכת החכמה באמצעות AppFunctions.
Jolanda Verhoef • משך הקריאה: 9 דקות -
מדריכיםJetpacker היא אפליקציה טכנית להדגמה שהצוות שלנו בנה מאפס לכנס Google I/O השנה (באמצעות Antigravity). המטרה העיקרית של Jetpacker היא לעזור למשתמשים לתכנן, לחקור וליהנות מההרפתקה הגדולה הבאה שלהם.
Jolanda Verhoef • משך הקריאה: 4 דקות
רוצים לקבל טיפים עדכניים לפיתוח Android ישירות לאימייל כל שבוע?