به مجموعه پستهای وبلاگ «ساخت برنامههای هوشمند Android» خوش آمدید. در این مجموعه، یک برنامه Android ساده را به تجربهای شخصیسازیشده، هوشمند، و عاملمحور تبدیل میکنیم. در پست قبلی Jetpacker را معرفی کردیم، برنامه نمایشی که در سراسر این مجموعه استفاده خواهیم کرد.
در این پست وبلاگ، نحوه استفاده از Gemini Nano ازطریق Prompt API در ML Kit برای ساختن ویژگیهای هوشمند دروندستگاهی را توضیح میدهیم.
ساختن ویژگیهای هوشمند دروندستگاهی به توانایی پردازش پیاموارهها و دادهها مستقیماً در دستگاه بدون ارسال دادهها به سرور اشاره دارد. این کار چند مزیت دارد:
- دادههای کاربر میتواند بهصورت محلی در دستگاه پردازش شود و حریم خصوصی کاربر حفظ شود
- عملکرد مدل حتی با اتصال اینترنت ضعیف یا بدون اتصال اینترنت قابلاعتماد است
- بدون هزینه استنتاج ابری اضافی، زیرا همه چیز روی سختافزار کاربر اجرا میشود
با درنظر گرفتن مزایای پردازش دروندستگاهی، سه ویژگی را برای افزودن به Jetpacker شناسایی کردیم که میتوانند تجربه کاربری را بهبود بخشند: خلاصه کردن برنامههای سفر، مدیریت هزینهها، و ضبط یادداشتهای صوتی.
خلاصهسازی سفارشی با کیفیت بالا برای نوشتارهای کوتاه
صفحه برنامه سفر نمای کلی سریعی از همه فعالیتهای سفر موردنظر به کاربران ارائه میدهد. ازآنجاییکه این صفحه حاوی اطلاعات زیادی است، میتواند بهسرعت گیجکننده شود. برای کمک به کاربران برای آماده شدن بدون احساس سردرگمی، میتوانیم بخش «برای سفرتان آماده شوید» را در بالا اضافه کنیم.
با وارد کردن برنامه سفر و درخواست از LLM برای خلاصه کردن آن، میتوانیم خلاصه سریعی از سفر را همراه با نکاتی برای بستن چمدان و عبارات محلی مفید تولید کنیم. این مورد استفاده عالی برای مدل دروندستگاهی است، به چند دلیل:
- عملکرد و کیفیت: هم نوشتار ورودی و هم نوشتار خروجی نسبتاً کوتاه هستند. با این کار، میتوانیم انتظار داشته باشیم که عملکرد و کیفیت راهکار دروندستگاهی با مدلهای ابری قدرتمندتر برابری کند.
- مقیاسپذیری: انتقال استنتاج به درون دستگاه به ما امکان میدهد این ویژگی را از چند کاربر به میلیونها کاربر مقیاسبندی کنیم، بدون اینکه نگران مدیریت هزینههای فزاینده استنتاج ابری باشیم.
- تأخیر کم و قابلیت اطمینان: استنتاج دروندستگاهی تأخیر کم را تضمین میکند و تجربهای قابلاطمینان را حتی زمانی که کاربران آفلاین هستند ارائه میدهد.
برای ساختن با هوش مصنوعی دروندستگاهی، از Gemini Nano استفاده میکنیم که کارآمدترین مدل Google است و برای دستگاههای همراه بهینهسازی شده است. Gemini Nano برای اولینبار چند سال پیش معرفی شد و اکنون در بیشاز ۱۴۰ میلیون دستگاه اجرا میشود. جدیدترین نسخه این مدل، Gemini Nano 4، براساس معماری مدل Gemma 4 که اخیراً منتشر شده ساخته شده است و برای حداکثر بازدهی باتری و عملکرد بهینهسازی شده است.
بااستفاده از Prompt API در ML Kit، میتوانیم از قابلیتهای مدل جدید Gemini Nano 4 برای نمونهسازی ویژگیهای دروندستگاهیمان بهره ببریم. پیاموارهای ایجاد میکنیم که شامل برنامه سفر است و از مدل میخواهیم خلاصهای بههمراه نکاتی برای آمادهسازی تولید کند.
پیدا کردن پیامواره بهینه معمولاً به چندبار تکرار نیاز دارد و برنامه AICore برای این مرحله از فرایند عالی است. پساز موافقت با گزینه پیشنمای توسعهدهندگان نرمافزار برای AICore، میتوانیم مدلهای پیشنمایش مانند Gemini Nano 4 را بارگیری کنیم تا پیاموارهها را آزمایش کنیم و بروندادهای موردانتظار مدل را ببینیم. با چند تکرار در پیامواره، توانستیم سرعت پاسخ را از ۱۳ ثانیه به کمتر از ۲ ثانیه بهبود دهیم! پیادهسازی کد نهایی و پیامواره را اینجا بررسی کنید.
پردازش محلی برای ورودیهای حساس کاربر
سپس، برای کمک به کاربران برای لذت بردن بیشتر از سفرشان، یک مدیر هزینه ساده خواهیم ساخت که کار دستی مرتبسازی رسیدها و محاسبه بودجه را حذف میکند.
ازآنجاییکه رسیدها ممکن است حاوی اطلاعات حساسی مانند شماره کارت اعتباری و نشانی باشند، این مورد استفاده عالی دیگری برای راهکار دروندستگاهی است. با پردازش دروندستگاهی، کاربران میتوانند مطمئن باشند که اطلاعات خصوصی بهصورت محلی در دستگاه پردازش میشود و هیچیک از دادههای آنها به فضای ابری ارسال نمیشود.
علاوهبراین، Gemini Nano 4 قابلیتهای مدل را برای چندحالتی بهبود بخشیده است، بهویژه برای تکالیف درک تصویر مانند OCR و استخراج دادههای بصری، که آن را به راهحلی عالی برای تکالیفی مانند استخراج اطلاعات از رسیدها تبدیل میکند.
برای این مورد استفاده، پیامواره تصویر رسید را تجزیهوتحلیل میکند و اطلاعاتی مانند عنوان تولیدشده، مبلغ هزینه شده، و دسته هزینه را خروجی میدهد. برای اطمینان از اینکه مدل اطلاعات را در قالب ترجیحی برونداد میکند، میتوانیم از Structured Output API در ML Kit استفاده کنیم تا بهطور یکپارچه یک شیء داده Kotlin را که تعریف میکنیم برونداد کند.
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")
@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
@Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
val title: String,
@Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
val amount: Double,
@Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
val category: String,
)
val prompt = "Determine if the image is a receipt or expense.
If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
Otherwise, parse the receipt information."
val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)
// Define the configuration for Gemini Nano 4 E4B preview model
// When selecting models, you can specify which performance charactertists are most important
// for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed.
// Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
modelConfig = modelConfig {
releaseStage = ModelReleaseStage.PREVIEW
preference = ModelPreference.FULL
}
}
val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.responseورودی چندحالته
درنهایت، برای کمک به کاربران در ضبط یادداشتهای صوتی درطول سفر، بیایید یک ویژگی یادداشتهای صوتی کاملاً دروندستگاهی بسازیم. بااستفاده از ML Kit’s Speech Recognition API، به کاربران امکان میدهیم یادداشتهای صوتی کوتاهی ضبط کنند که بهطور خودکار به نوشتار ترانویسی میشود. بااستفاده از نوشتار ترانویسیشده، از Prompt API در ML Kit برای شناسایی فعالیت سفر مرتبط با یادداشت صوتی ضبطشده استفاده خواهیم کرد تا کاربران بتوانند بهراحتی هنگام پیمایش در برنامه سفر، سفر خود را مرور کنند.
ML Kit GenAI Speech Recognition API به شما امکان میدهد محتوای صوتی را بااستفاده از دو حالت متمایز کاملاً در دستگاه به نوشتار ترانویسی کنید. حالت پایه از مدل سنتی تشخیص گفتار در دستگاه استفاده میکند و در اکثر دستگاههای Android با سطح میانای برنامهسازی کاربردی ۳۱ و بالاتر دردسترس است. حالت پیشرفته از Gemini Nano استفاده میکند تا پوشش زبانی گستردهتر و کیفیت بهتری ارائه دهد و درحالحاضر در دستگاههای Pixel 10 پشتیبانی میشود.
برای ویژگیمان، Speech Recognition API را با ML Kit GenAI Prompt API ترکیب میکنیم:
// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")
val tripEvents = ...
// Set up speech recognition
val speechRecognizerOptions =
speechRecognizerOptions {
locale = Locale.US
preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
}
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)
suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
// Display partial text as the user is recording audio
var partialTextResponse = ""
// Display the full text once user is finished recording audio
var transcription = ""
val request: SpeechRecognizerRequest
= speechRecognizerRequest { audioSource = AudioSource.fromMic() }
recognizer.startRecognition(request).collect { response ->
when (response) {
is SpeechRecognizerResponse.PartialTextResponse -> {
partialTextResponse = response.text
}
is SpeechRecognizerResponse.FinalTextResponse -> {
transcription = response.text
processAndCategorizeVoiceNote(transcription, tripEvents)
}
}
}
}
fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
val prompt = "Given the voice note $transcribedVoiceNote
and the following events for this trip: $events, rewrite this transcription
to remove filler words. Then, identify which events from the
list this rewritten transcription matches to."
// Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
Generation.getClient().generateContent(prompt)
}نتیجهگیری
بااستفاده از میاناهای برنامهسازی کاربردی GenAI در ML Kit، توانستیم از Gemini Nano برای توسعه ویژگیهای هوشمند کاملاً دروندستگاهی برای برنامه JetPacker بهره ببریم و تجربه کاربری بهبودیافتهای را بدون هیچ هزینه ابری اضافی ارائه دهیم.
کد منبع کامل Jetpacker را در Github بررسی کنید و ویدیو ساختن برنامههای هوشمند Android با هوش مصنوعی Google را تماشا کنید تا درباره نحوه ادغام کردن ویژگیهای هوشمند مستقیماً در برنامهتان بااستفاده از مدلهای دروندستگاهی، استدلال مبتنی بر ابر، و جدیدترین چارچوبهای عاملی بیشتر بدانید.
بیشتر بدانید
بخشهای دیگر این مجموعه پست وبلاگ را بررسی کنید:
بخش ۱: معرفی برنامه و نمای کلی سطح بالا.
بخش ۲ (این پست!): هوش دروندستگاهی. Deep-dive into ML Kit’s GenAI APIs and Gemini Nano to build privacy-first features like itinerary summarization, receipt parsing, and local audio processing.
بخش ۳: استدلال ابری و ترکیبی. با نحوه استفاده از Firebase AI Logic برای پایهگذاری پاسخهای مدل زبانی بزرگ در دادههای دنیای واقعی مانند Google Maps و بافت وب آشنا شوید.
بخش ۴: یکپارچهسازی سیستم. ادغام با سیستم هوش Android بااستفاده از AppFunctions.
بخش ۵ (بهزودی): گردشهای کاری عاملی درونبرنامه. برنامه را با دستیار رزرو سرتاسری با بهرهگیری از A2UI و ADK گسترش دهید.
به اطلاعات بیشتر درباره «توسعه Android» علاقه دارید؟ «توسعهدهندگان نرمافزار Android» را در YouTube یا LinkedIn دنبال کنید!
همه تکهکدهای این پست وبلاگ از این اعلامیه حق نشر پیروی میکنند:
Copyright 2026 Google LLC. SPDX-License-Identifier: Apache-2.0
-
راهنماهابه مجموعه پستهای وبلاگ «ساخت برنامههای هوشمند Android» خوش آمدید. در این مجموعه، یک برنامه Android ساده را به تجربهای شخصیسازیشده، هوشمند، و عاملمحور تبدیل میکنیم.
Thomas Ezan, Jolanda Verhoef, Caren Chang • ۸ دقیقه خواندن -
راهنماهابه مجموعه پستهای وبلاگ «ساخت برنامههای هوشمند Android» خوش آمدید. در این مجموعه، یک برنامه Android ساده را به تجربهای شخصیسازیشده، هوشمند، و عاملگرا تبدیل میکنید. در پست قبلی ما، با نحوه اتصال به سیستم هوش مصنوعی بااستفاده از AppFunctions آشنا شدید.
Jolanda Verhoef • ۹ دقیقه خواندن -
راهنماهاJetpacker یک برنامه ویترین فنی است که تیم ما از ابتدا برای Google I/O امسال ساخته است (بااستفاده از Antigravity ساخته شده است). در اصل، Jetpacker به کاربران کمک میکند ماجراجویی بزرگ بعدیشان را برنامهریزی، کاوش، و از آن لذت ببرند.
Jolanda Verhoef • زمان خواندن: ۴ دقیقه
جدیدترین اطلاعات آماری توسعه Android را بهصورت هفتگی در صندوق ورودیتان دریافت کنید.