"Nasıl yapılır?" rehberleri

Akıllı Android uygulamaları geliştirme: Cihaz üzerinde çıkarım

Okuma süresi: 6 dk.
Caren Chang'in profilini görüntüle
Caren Chang Geliştirici İlişkileri Mühendisi

Temel bir Android uygulamasını kişiselleştirilmiş, akıllı ve temsilci tabanlı bir deneyime dönüştürdüğümüz "Akıllı Android uygulamaları geliştirme" blog yayını serisine tekrar hoş geldiniz. Önceki yazımızda, bu seri boyunca kullanacağımız demo uygulaması Jetpacker'ı tanıtmıştık. 

Bu blog yayınında, cihaz üzerinde akıllı özellikler oluşturmak için ML Kit'in Prompt API'si aracılığıyla Gemini Nano'yu nasıl kullanabileceğinizi paylaşacağız.

Cihaz üzerinde akıllı özellikler oluşturma, istemleri ve verileri bir sunucuya göndermeden doğrudan cihaz üzerinde işleme özelliğini ifade eder. Bu yaklaşımın birkaç avantajı vardır: 

  • Kullanıcı verileri cihazda yerel olarak işlenebilir ve kullanıcı gizliliği korunur.
  • Modelin işlevleri, internet bağlantısı kesintili olsa veya hiç olmasa bile güvenilirdir.
  • Her şey kullanıcının donanımında çalıştığı için ek bulut çıkarımı maliyeti yoktur.

Cihaz üzerinde yapay zekanın avantajlarını göz önünde bulundurarak Jetpacker'a kullanıcı deneyimini iyileştirebilecek üç özellik eklemeye karar verdik: gezi planlarını özetleme, harcamaları yönetme ve sesli notlar kaydetme.

Screenshot 2026-07-02 at 12.57.08 PM.png
Jetpacker'daki cihaz üzerinde özellikler: Seyahat planlarını özetleme, harcamaları yönetme ve sesli notlar.

Kısa metinlerin yüksek kaliteli ve özelleştirilmiş özetleri

Seyahat planı ekranı, kullanıcılara belirli bir seyahatle ilgili tüm etkinliklerin hızlı bir özetini sunar. Bu ekranda çok fazla bilgi olduğu için kafa karıştırıcı olabilir. Kullanıcıların bunalmadan hazırlanmasına yardımcı olmak için en üste "Seyahatinize hazırlanın" bölümü ekleyebiliriz.

Screenshot_20260702_111934.png
Romantik Paris gezisi; sanat, manzara ve lezzetli yemekleri bir araya getiren klasik bir Paris macerası olarak özetleniyor. Ayrıca bir ipucu ve bazı faydalı ifadeler de eklenir.

Bir seyahat planı girip LLM'den bunu özetlemesini isteyerek seyahatin kısa bir özetini, bavul hazırlama ipuçlarını ve faydalı yerel ifadeleri içeren bir özet oluşturabiliriz. Bu, cihaz üzerinde model için çeşitli nedenlerle mükemmel bir kullanım alanıdır: 

  • Performans ve kalite: Hem giriş hem de çıkış metni nispeten kısadır. Bu sayede, cihaz üzerinde çalışan bir çözümün performansının ve kalitesinin daha güçlü bulut modelleriyle aynı düzeyde olmasını bekleyebiliriz.
  • Ölçeklenebilirlik: Çıkarım işlemini cihaz üzerinde gerçekleştirmek, artan bulut çıkarım maliyetlerini yönetme konusunda endişelenmeden bu özelliği birkaç kullanıcıdan milyonlarca kullanıcıya ölçeklendirmemize olanak tanır.
  • Düşük gecikme ve güvenilirlik: Cihaz üzerinde çıkarım, düşük gecikme süresi sağlayarak kullanıcılar çevrimdışıyken bile güvenilir bir deneyim sunar.

Cihaz üzerinde geliştirme yapmak için Google'ın mobil cihazlar için optimize edilmiş en verimli modeli olan Gemini Nano'yu kullanıyoruz. İlk olarak birkaç yıl önce kullanıma sunulan Gemini Nano, şu anda 140 milyondan fazla cihazda çalışıyor. Modelin en yeni sürümü olan Gemini Nano 4, kısa süre önce kullanıma sunulan Gemma 4 modelinin mimari temeli üzerine inşa edilmiştir ve maksimum pil ve performans verimliliği için daha da optimize edilmiştir. 

ML Kit'in Prompt API'sini kullanarak cihaz üzerindeki özelliklerimizin prototipini oluşturmak için Gemini Nano 4'ün yeni model özelliklerinden yararlanabiliriz. Bir seyahatin planını içeren bir istem oluşturup modelden bu planın özetini ve hazırlık ipuçlarını üretmesini isteyeceğiz.

En uygun istemi bulmak için genellikle birkaç deneme yapmanız gerekir. AICore uygulaması, sürecin bu adımı için idealdir. AICore için geliştirici önizleme seçeneğini etkinleştirdikten sonra, istemleri test etmek ve modelin beklenen çıktılarını görmek için Gemini Nano 4 gibi önizleme modellerini indirebiliriz. İstemde birkaç değişiklik yaparak yanıt hızını 13 saniyeden 2 saniyenin altına düşürmeyi başardık. Kodun son halini ve istemi buradan inceleyebilirsiniz.

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
İstemimizin ilk iterasyonu çok fazla jeton üretti. İstemimizi optimize etmek, yanıtların hızlı ve amaca yönelik olmasını sağladı.

Hassas kullanıcı girişleri için yerel işleme

Ardından, kullanıcıların seyahatlerinden daha fazla keyif almalarına yardımcı olmak için makbuzları sıralama ve bütçe hesaplama gibi manuel işleri ortadan kaldıran basit bir harcama yöneticisi oluşturacağız. 

Makbuzlar, kredi kartı numarası ve adresler gibi hassas bilgiler içerebileceğinden, cihaz üzerinde çözüm için bir başka mükemmel kullanım alanıdır. Cihaz üzerinde işleme sayesinde kullanıcılar, özel bilgilerin buluta gönderilmeden cihazda yerel olarak işleneceğinden emin olabilir.

Ayrıca Gemini Nano 4, çok formatlılık için geliştirilmiş model özelliklerine sahiptir. Özellikle OCR ve görsel veri ayıklama gibi görüntü anlama görevlerinde başarılı olan bu model, makbuzlardan bilgi ayıklama gibi görevler için mükemmel bir çözümdür.

Bu kullanım alanında istem, makbuzun resmini analiz eder ve oluşturulan başlık, harcanan tutar ve harcama kategorisi gibi bilgileri verir. Modelin bilgileri tercih edilen biçimde çıkarmasını sağlamak için ML Kit'in Structured Output API'sini kullanarak tanımladığımız bir Kotlin veri nesnesini sorunsuz bir şekilde çıkarabiliriz.

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

Çok formatlı giriş

Son olarak, kullanıcıların gezi sırasında sesli notlar kaydetmesine yardımcı olmak için tamamen cihaz üzerinde çalışan bir sesli not özelliği oluşturalım. ML Kit'in Konuşma Tanıma API'sini kullanarak kullanıcıların otomatik olarak metne dönüştürülen kısa sesli notlar kaydetmesini sağlayacağız. Metne dönüştürülen ses notunun hangi gezi etkinliğiyle ilişkili olduğunu belirlemek için ML Kit'in Prompt API'sini kullanacağız. Böylece kullanıcılar, gezi planına göz atarken gezilerini kolayca özetleyebilecek. 

Screenshot_20260702_115529.png
Roma tatili seyahat planında sesli not alıntıları gösteriliyor.

ML Kit GenAI Speech Recognition API, iki farklı mod kullanarak ses içeriklerini tamamen cihaz üzerinde metne dönüştürmenize olanak tanır. Temel mod, geleneksel bir cihaz üzerinde konuşma tanıma modeli kullanır ve API düzeyi 31 ve sonraki sürümleri çalıştıran çoğu Android cihazda kullanılabilir. Gelişmiş mod, Gemini Nano'yu kullanarak daha geniş dil kapsamı ve daha iyi kalite sunar. Bu mod şu anda Pixel 10 cihazlarda desteklenmektedir.

Özelliğimiz için Speech Recognition API'yi ML Kit GenAI Prompt API ile birleştiriyoruz:

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

Sonuç

ML Kit'in GenAI API'lerini kullanarak JetPacker uygulaması için tamamen cihaz üzerinde akıllı özellikler geliştirmek üzere Gemini Nano'dan yararlanabildik ve ek bulut maliyetleri olmadan daha iyi bir kullanıcı deneyimi sunduk.

Jetpacker'ın kaynak kodunun tamamını GitHub'da inceleyin ve cihaz üzerinde modeller, bulut tabanlı akıl yürütme ve en yeni temsilci çerçevelerini kullanarak akıllı özellikleri doğrudan uygulamanıza nasıl entegre edeceğiniz hakkında daha fazla bilgi edinmek için Google'ın yapay zekasıyla akıllı Android uygulamaları geliştirme videosunu izleyin.

Daha fazla bilgi

Bu blog yayını dizisinin diğer bölümlerine göz atın:

1. Bölüm: Uygulamanın tanıtımı ve genel bakış.

2. Bölüm (bu yayın): Cihaz üzerinde akıllı veri işleme. Seyahat planı özeti, makbuz ayrıştırma ve yerel ses işleme gibi gizlilik öncelikli özellikler oluşturmak için ML Kit'in üretken yapay zeka API'lerini ve Gemini Nano'yu ayrıntılı bir şekilde inceleyin.

3. bölüm: Hibrit ve bulut tabanlı akıl yürütme. LLM yanıtlarını Google Haritalar ve web bağlamı gibi gerçek dünya verilerine dayandırmak için Firebase AI Logic'i nasıl kullanacağınızı öğrenin.

4. Bölüm: Sistem entegrasyonu. AppFunctions'ı kullanarak Android Intelligence sistemiyle entegrasyon

5. bölüm (yakında): Uygulama içi temsilci tabanlı iş akışları. Uygulamayı, A2UI ve ADK tarafından desteklenen uçtan uca rezervasyon asistanıyla genişletin.

Android geliştirme hakkında daha fazla bilgi edinmek ister misiniz? Android Geliştiricileri'ni YouTube veya LinkedIn'de takip edin.

Bu blog yayınındaki tüm kod snippet'leri aşağıdaki telif hakkı bildirimine tabidir:

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
Yazan:
Okumaya devam et