Gemini Nano

Gemini Nano memungkinkan Anda menghadirkan pengalaman AI generatif yang kaya tanpa memerlukan koneksi jaringan atau mengirim data ke cloud. AI di perangkat adalah solusi yang bagus untuk kasus penggunaan yang mengutamakan biaya rendah dan perlindungan privasi.

Untuk kasus penggunaan di perangkat, Anda dapat memanfaatkan model dasar Gemini Nano Google. Gemini Nano berjalan di layanan sistem AICore Android, yang memanfaatkan hardware perangkat untuk memungkinkan latensi inferensi yang rendah dan menjaga model tetap terbaru.

API GenAI ML Kit

API GenAI ML Kit memanfaatkan kecanggihan Gemini Nano untuk membantu aplikasi Anda menjalankan tugas AI generatif di perangkat. API ini dibangun di atas AICore, layanan sistem Android yang memungkinkan eksekusi model dasar GenAI di perangkat untuk memfasilitasi fitur seperti fungsi aplikasi yang ditingkatkan dan privasi pengguna yang lebih baik dengan memproses data secara lokal. Pelajari lebih lanjut.

Fitur utama

ML Kit mengelompokkan kemampuan GenAI-nya ke dalam kategori berikut:

Agen dan pembuatan kustom

Bekerja langsung dengan model dasar Gemini Nano untuk kasus penggunaan kustom:

  • Akses model langsung (menggunakan class GenerativeModel): Buat teks atau output terstruktur yang diketik dari perintah khusus teks atau multimodal kustom, atau kelola histori percakapan multi-turn Anda sendiri secara langsung menggunakan objek List<Content> dengan peran USER dan MODEL serta nilai sessionId.
  • Agentic Workflows (menggunakan class AgentRunner): Dibangun di atas class GenerativeModel, mengotomatiskan pengelolaan sesi multi-turn (termasuk histori percakapan dalam memori) dan loop panggilan alat multi-langkah.

Ucapan dan audio

Transkripsikan, terjemahkan, dan sintesis audio ucapan di perangkat:

  • Pengenalan Ucapan: Transkripsikan konten audio lisan menjadi teks dalam bahasa yang sama.
  • Speech Translation: Menerjemahkan audio lisan menjadi teks dalam bahasa lain secara real time.
  • Text to Speech: Menyintesis audio ucapan yang terdengar alami dari teks.

Tugas teks dan gambar

Gunakan API khusus tugas yang dioptimalkan untuk tugas visi, penulisan, dan penelusuran umum melalui antarmuka tingkat tinggi:

  • Deskripsi Gambar: Buat deskripsi singkat tentang gambar tertentu.
  • Ringkasan: Meringkas artikel atau percakapan sebagai daftar berbutir.
  • Pemeriksaan tata bahasa: Memeriksa tata bahasa pesan chat singkat.
  • Menulis ulang: Tulis ulang pesan chat singkat dengan gaya bahasa atau gaya yang berbeda.
  • Penelusuran Semantik: Buat embedding vektor untuk teks dan gambar menggunakan Embedding API dan pasangkan dengan AppSearch AndroidX untuk menemukan konten berdasarkan makna.

Arsitektur melalui AICore

Sebagai modul tingkat sistem, Anda mengakses AICore melalui serangkaian API untuk menjalankan inferensi di perangkat. Selain itu, AICore memiliki beberapa fitur keamanan bawaan, yang memastikan evaluasi menyeluruh terhadap filter keamanan kami. Diagram berikut menguraikan cara aplikasi mengakses AICore untuk menjalankan Gemini Nano di perangkat.

Diagram yang menunjukkan cara aplikasi Android menggunakan Google AI Edge SDK untuk mengakses AICore, tempat Gemini Nano, LoRA, dan fitur keamanan dikelola dan dijalankan di akselerator hardware.
Gambar 1. AICore berfungsi sebagai antarmuka antara aplikasi Anda dan model Gemini Nano, mengelola update dan keamanan model sekaligus memanfaatkan hardware di perangkat.

Menjaga kerahasiaan dan keamanan data pengguna

AI generatif di perangkat mengeksekusi perintah secara lokal, sehingga menghilangkan panggilan server. Meskipun tindakan ini menghilangkan latensi jaringan, kecepatan inferensi bergantung pada hardware perangkat. Pendekatan ini meningkatkan privasi dengan menyimpan data sensitif di perangkat, memungkinkan fungsionalitas offline, dan mengurangi biaya inferensi.

AICore mematuhi prinsip Private Compute Core, dengan karakteristik utama berikut:

  • Pengikatan Paket yang Dibatasi: AICore diisolasi dari sebagian besar paket lainnya, dengan pengecualian terbatas untuk paket sistem tertentu. Setiap perubahan pada daftar yang diizinkan ini hanya dapat terjadi selama update OTA Android lengkap.
  • Akses Internet Tidak Langsung: AICore tidak memiliki akses internet langsung. Semua permintaan internet, termasuk download model, dirutekan melalui APK pendamping Private Compute Services open source. API dalam Private Compute Services harus secara eksplisit menunjukkan sifatnya yang berfokus pada privasi.

Selain itu, AICore dibuat untuk mengisolasi setiap permintaan dan tidak menyimpan catatan data input atau output yang dihasilkan setelah memprosesnya untuk melindungi privasi pengguna. Baca postingan blog Pengantar Privasi dan Keamanan untuk Gemini Nano untuk mempelajari lebih lanjut.

Diagram arsitektur mendetail AICore yang menunjukkan alur permintaan: platform API, pemrosesan input dengan sinyal keamanan, konfigurasi fitur, runtime dengan bobot model dan LoRA, serta pemrosesan output dengan sinyal keamanan. Fitur ini juga menampilkan download model melalui Private Compute Services.
Gambar 2. Arsitektur AICore mengelola keamanan input dan output, pemrosesan permintaan, dan bobot model untuk menyediakan lingkungan yang aman bagi AI di perangkat.

Manfaat mengakses model dasar AI dengan AICore

AICore memungkinkan Android OS menyediakan dan mengelola model dasar AI. Hal ini mengurangi biaya penggunaan model besar ini di aplikasi Anda secara signifikan, terutama karena hal berikut:

  • Kemudahan deployment: AICore mengelola distribusi Gemini Nano dan menangani update mendatang. Anda tidak perlu khawatir tentang mendownload atau mengupdate model besar melalui jaringan, atau dampak pada anggaran memori runtime dan disk aplikasi Anda.
  • Inferensi yang dipercepat: AICore memanfaatkan hardware di perangkat untuk mempercepat inferensi. Aplikasi Anda mendapatkan performa terbaik di setiap perangkat, dan Anda tidak perlu mengkhawatirkan antarmuka hardware yang mendasarinya.

Kapan harus menggunakan inferensi hybrid

Meskipun ideal untuk tugas offline dan sensitif terhadap privasi, Gemini Nano memiliki batasan di perangkat seperti batas token, batasan hardware perangkat, dan batasan kemampuan model. Dalam skenario ini, Anda dapat menggunakan inferensi hybrid untuk menyeimbangkan workload AI antara perangkat lokal dan cloud.

Untuk memastikan pengalaman pengguna yang konsisten di semua perangkat dan menangani kueri yang kompleks, Anda dapat menggunakan Firebase AI Logic Hybrid API. Hal ini memungkinkan aplikasi Anda melakukan hal berikut:

  • Melakukan penggantian dengan lancar: Otomatis mengarahkan permintaan ke model Gemini Flash atau Gemini Pro di cloud saat Gemini Nano tidak tersedia atau tidak didukung di perangkat pengguna.
  • Terapkan keamanan: Lindungi inferensi cloud dengan Firebase App Check (dan penyedia pengesahan yang didukungnya, seperti Play Integrity) dan simpan perintah sistem yang sensitif di sisi server.