How-to

インテリジェントな Android アプリを構築する: オンデバイス推論

所要時間: 6 分
Caren Chang のプロフィールを表示
Caren Chang デベロッパー リレーションズ エンジニア

ブログ投稿シリーズ「インテリジェントな Android アプリを構築する」へようこそ。このシリーズでは、基本的な Android アプリをパーソナライズされた、インテリジェントな、エージェント エクスペリエンスに変換する方法を紹介します。前回の投稿では、このシリーズ全体で使用するデモアプリ Jetpacker を紹介しました。

このブログ投稿では、ML Kit の Prompt API を通じて Gemini Nano を使用し、インテリジェントなオンデバイス機能を構築する方法について説明します。

インテリジェントなオンデバイス機能を構築するとは、データをサーバーに送信せずに、デバイス上で直接プロンプトとデータを処理する機能を指します。これには次のような利点があります。

  • ユーザーデータをデバイス上でローカルに処理できるため、ユーザーのプライバシーが保護される
  • インターネット接続が不安定な場合や接続されていない場合でも、モデルの機能は信頼できる
  • すべてがユーザーのハードウェア上で実行されるため、クラウド推論の追加費用は発生しません。

オンデバイスのメリットを念頭に置き、ユーザー エクスペリエンスを向上させるために Jetpacker に追加できる 3 つの機能(旅行プランの要約、費用の管理、音声メモのキャプチャ)を特定しました。

Screenshot 2026-07-02 at 12.57.08 PM.png
Jetpacker のオンデバイス機能: 旅行プランの要約、費用の管理、音声メモ。

短いテキストの高品質でカスタマイズされた要約

旅程画面では、特定の旅行のすべてのアクティビティの概要をすばやく確認できます。この画面には多くの情報が含まれているため、すぐに圧倒されてしまうかもしれません。ユーザーが圧倒されることなく準備できるように、上部に [旅行の準備] セクションを追加できます。

Screenshot_20260702_111934.png
ロマンチックなパリ旅行は、アート、観光、美味しい料理を組み合わせた、クラシックなパリの冒険としてまとめられています。また、ヒントと便利なフレーズも追加されています。

旅行プランを入力して LLM に要約を依頼すると、旅行の簡単な要約、荷造りのヒント、便利な現地のフレーズを生成できます。これは、いくつかの理由から、オンデバイス モデルの優れたユースケースです。

  • パフォーマンスと品質: 入力テキストと出力テキストはどちらも比較的短いです。これにより、オンデバイス ソリューションのパフォーマンスと品質は、より強力なクラウドモデルと同等になると期待できます。
  • スケーラビリティ: 推論をオンデバイスに移行することで、クラウド推論コストの増加を心配することなく、この機能を数人のユーザーから数百万人のユーザーに拡張できます。
  • 低レイテンシと信頼性: オンデバイス推論により低レイテンシが保証され、ユーザーがオフラインの場合でも信頼性の高いエクスペリエンスが提供されます。

オンデバイスで構築するために、Google はモバイル デバイス向けに最適化された最も効率的なモデルである Gemini Nano を使用しています。Gemini Nano は数年前に初めて導入され、現在では 1 億 4, 000 万台以上のデバイスで動作しています。このモデルの最新バージョンである Gemini Nano 4 は、最近リリースされた Gemma 4 モデルのアーキテクチャ基盤に基づいて構築されており、バッテリーとパフォーマンスの効率を最大化するためにさらに最適化されています。

ML Kit の Prompt API を使用すると、Gemini Nano 4 の新しいモデル機能を活用して、オンデバイス機能のプロトタイプを作成できます。旅行の旅程を含むプロンプトを作成し、準備のヒントとともに要約を生成するようモデルに指示します。

最適なプロンプトを見つけるには、通常、ある程度の反復処理が必要になります。AICore アプリは、このプロセスに最適です。AICore のデベロッパー プレビュー オプションを有効にすると、Gemini Nano 4 などのプレビュー モデルをダウンロードしてプロンプトをテストし、モデルの想定される出力を確認できます。プロンプトを数回繰り返すことで、レスポンスの速度を 13 秒から 2 秒未満に短縮できました。最終的なコードの実装とプロンプトについては、こちらをご覧ください。

Screen Recording 2026-07-02 at 12.28.51 PM (1) (1)_compressed.gif
プロンプトの最初のイテレーションでは、生成されるトークンが多すぎました。最適化することで、レスポンスを迅速かつ簡潔に保つことができました。

機密性の高いユーザー入力のローカル処理

次に、ユーザーが旅行をさらに楽しめるように、領収書の仕分けや予算の計算を手作業で行う必要がない、シンプルな経費管理ツールを構築します。

領収書にはクレジット カード番号や住所などの機密情報が含まれている可能性があるため、これもオンデバイス ソリューションの優れたユースケースです。オンデバイス処理により、個人情報はデバイス上でローカルに処理され、データがクラウドに送信されることはありません。

さらに、Gemini Nano 4 ではマルチモダリティのモデル機能が向上しており、特に OCR や視覚データの抽出などの画像理解タスクに優れているため、領収書からのデータ抽出などのタスクに最適なソリューションとなっています。

このユースケースでは、プロンプトが領収書の画像を分析し、生成されたタイトル、支出額、経費のカテゴリなどの情報を出力します。モデルが優先形式で情報を出力するようにするには、ML Kit の Structured Output API を使用して、定義した Kotlin データ オブジェクトをシームレスに出力します。

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// ksp("com.google.mlkit:genai-schema-compiler:1.0.0-alpha1")

@Generable("Information extracted from an expense receipt")
data class ParsedReceipt(
  @Guide("Generated title for the expense less than 6 words. Based on restaurant or activity name.")
  val title: String,
  @Guide("Total amount of the expense. Look for values at the bottom and words like total or balance due.")
  val amount: Double,
  @Guide("Type of expense", enumValues = ["travel", "food", "shopping", "entertainment", "other"])
  val category: String,
)

val prompt = "Determine if the image is a receipt or expense. 
    If it is NOT a receipt or expense, output the text 'NOT_A_RECEIPT'.
    Otherwise, parse the receipt information."

val request = generateContentRequest(ImagePart(bitmap), TextPart(prompt)) {}
val requestWithStructuredOutput = generateTypedContentRequest(request, ParsedReceipt::class)

// Define the configuration for Gemini Nano 4 E4B preview model  
// When selecting models, you can specify which performance charactertists are most important
//  for your use case. Use ModelPreference.FULL when you want to prioritize reasoning power over speed. 
//  Use ModelPreference.FAST when complex logic is not required and latency is a priority.
val previewFullConfig = generationConfig {
    modelConfig = modelConfig {
        releaseStage = ModelReleaseStage.PREVIEW
        preference = ModelPreference.FULL
    }
}

val geminiNano4BPreviewModel = Generation.getClient(previewFullConfig)
val response = geminiNano4BPreviewModel.generateContent(requestWithStructuredOutput)
val parsedReceipt: ParsedReceipt? = response.candidates.firstOrNull()?.response

マルチモーダル入力

最後に、旅行中に音声メモを録音できるように、完全にオンデバイスの音声メモ機能を構築しましょう。ML Kit の Speech Recognition API を使用して、ユーザーが短い音声メモを録音し、それが自動的にテキストに変換されるようにします。音声文字変換されたテキストを使用して、ML Kit の Prompt API で、録音された音声メモに関連付けられている旅行アクティビティを特定します。これにより、ユーザーは旅行プランをスクロールしながら、旅行を簡単に振り返ることができます。

Screenshot_20260702_115529.png
ローマの休日プランに音声メモの抜粋が表示されている。

ML Kit GenAI Speech Recognition API を使用すると、2 つの異なるモードを使用して、音声コンテンツを完全にデバイス上でテキストに変換できます。基本モードは、従来のオンデバイス音声認識モデルを使用し、API レベル 31 以降のほとんどの Android デバイスで利用できます。詳細モードでは、Gemini Nano を使用して、より幅広い言語に対応し、より高品質な翻訳を提供します。現在、Google Pixel 10 デバイスでサポートされています。

この機能では、Speech Recognition API と ML Kit GenAI Prompt API を組み合わせています。

// implementation("com.google.mlkit:genai-prompt:1.0.0-beta3")
// implementation("com.google.mlkit:genai-speech-recognition:1.0.0-alpha1")

val tripEvents = ... 

// Set up speech recognition
val speechRecognizerOptions =
    speechRecognizerOptions {
        locale = Locale.US
        preferredMode = SpeechRecognizerOptions.Mode.MODE_ADVANCED
    }
val speechRecognizer: SpeechRecognizer = SpeechRecognition.getClient(speechRecognizerOptions)

suspend fun transcribeVoiceNote(recognizer: SpeechRecognizer) {
    // Display partial text as the user is recording audio
    var partialTextResponse = ""

    // Display the full text once user is finished recording audio
    var transcription = ""

    val request: SpeechRecognizerRequest
        = speechRecognizerRequest { audioSource = AudioSource.fromMic() }
    recognizer.startRecognition(request).collect { response ->
        when (response) {
            is SpeechRecognizerResponse.PartialTextResponse -> {
                partialTextResponse = response.text
            }
            is SpeechRecognizerResponse.FinalTextResponse -> {
                transcription = response.text
                processAndCategorizeVoiceNote(transcription, tripEvents)
            }
        }
    }
}

fun processAndCategorizeVoiceNote(transcribedVoiceNote: String, events: List<Event>) {
    val prompt = "Given the voice note $transcribedVoiceNote
     and the following events for this trip: $events, rewrite this transcription
     to remove filler words. Then, identify which events from the
     list this rewritten transcription matches to."

     // Utilize ML Kit's Prompt API to process voice note and tag it with the relevant trip activities
     Generation.getClient().generateContent(prompt)
}

まとめ

ML Kit の GenAI API を使用することで、Gemini Nano を活用して JetPacker アプリに完全なオンデバイス インテリジェント機能を開発し、追加のクラウド費用なしでユーザー エクスペリエンスを向上させることができました。

GitHub で Jetpacker の完全なソースコードを確認し、動画「Google の AI を使用してインテリジェントな Android アプリを構築する」で、オンデバイス モデル、クラウドを活用した推論、最新のエージェント フレームワークを使用して、インテリジェントな機能をアプリに直接統合する方法について詳しくご覧ください。

詳細

このブログ投稿シリーズの他のパートもご覧ください。

パート 1: アプリの紹介と概要。

パート 2(この投稿): オンデバイス インテリジェンス。ML Kit の生成 AI API と Gemini Nano を特集し、旅行プランの要約、領収書の解析、ローカル音声処理などのプライバシー重視の機能を構築しましょう。

パート 3: ハイブリッドとクラウドの推論。Firebase AI Logic を使用して、Google マップやウェブ コンテキストなどの実世界のデータで LLM の回答をグラウンディングする方法について説明します。

パート 4: システム インテグレーション。AppFunctions を使用して Android インテリジェンス システムと統合する。

パート 5(近日公開): アプリ内 Agentic Workflows。A2UI と ADK を活用したエンドツーエンドの予約アシスタントでアプリを拡張する。

Android 開発についてさらに詳しく知りたい場合は、YouTube または LinkedIn で Android デベロッパーをフォローしてください。

このブログ投稿のすべてのコード スニペットは、次の著作権に関する通知に従います。

Copyright 2026 Google LLC.
SPDX-License-Identifier: Apache-2.0
作成者:
続きを読む