Gemini Nano

Gemini Nano की मदद से, इंटरनेट कनेक्शन के बिना या क्लाउड पर डेटा भेजे बिना, जनरेटिव एआई की बेहतरीन सुविधाएं उपलब्ध कराई जा सकती हैं. उपयोगकर्ता के डिवाइस पर मौजूद एआई, उन इस्तेमाल के उदाहरणों के लिए एक बेहतरीन समाधान है जहां कम लागत और निजता की सुरक्षा के उपाय आपकी मुख्य चिंताएं हैं.

डिवाइस पर इस्तेमाल के उदाहरणों के लिए, Google के Gemini Nano फ़ाउंडेशन मॉडल का फ़ायदा लिया जा सकता है. Gemini Nano, Android की AICore सिस्टम सर्विस में चलता है. यह सर्विस, डिवाइस के हार्डवेयर का इस्तेमाल करके, अनुमान लगाने में लगने वाले समय को कम करती है और मॉडल को अप-टू-डेट रखती है.

ML Kit GenAI API

ML Kit के GenAI एपीआई, Gemini Nano की मदद से आपके ऐप्लिकेशन को डिवाइस पर जनरेटिव एआई टास्क पूरे करने में मदद करते हैं. ये एपीआई, AICore पर आधारित हैं. यह Android सिस्टम की एक सेवा है. इसकी मदद से, उपयोगकर्ता के डिवाइस पर जेन एआई के बुनियादी मॉडल चलाए जा सकते हैं. इससे, ऐप्लिकेशन की मुख्य सुविधाओं और उनके काम करने के तरीके को बेहतर बनाने में मदद मिलती है. साथ ही, उपयोगकर्ता के डेटा को डिवाइस पर ही प्रोसेस करके, उसकी निजता को बेहतर बनाया जा सकता है. ज़्यादा जानें.

मुख्य सुविधाएं

ML Kit, अपनी जेन एआई सुविधाओं को इन कैटगरी में बांटता है:

कस्टम जनरेशन और एजेंट

कस्टम इस्तेमाल के उदाहरणों के लिए, Gemini Nano फ़ाउंडेशन मॉडल के साथ सीधे तौर पर काम करें:

  • मॉडल का डायरेक्ट ऐक्सेस (GenerativeModel क्लास का इस्तेमाल करके): सिर्फ़ टेक्स्ट वाले कस्टम प्रॉम्प्ट या टेक्स्ट, इमेज वग़ैरह का एक साथ इस्तेमाल करके प्रॉम्प्ट डालने की सुविधा से, टेक्स्ट या टाइप किया गया स्ट्रक्चर्ड आउटपुट जनरेट करें. इसके अलावा, USER और MODEL भूमिकाओं और sessionId वैल्यू के साथ List<Content> ऑब्जेक्ट का इस्तेमाल करके, अपनी मल्टी-टर्न चैट का इतिहास सीधे मैनेज करें.
  • एजेंटिक वर्कफ़्लो (AgentRunner क्लास का इस्तेमाल करके): GenerativeModel क्लास के ऊपर बनाए गए हैं. ये कई चरणों वाले सेशन मैनेजमेंट (इसमें मेमोरी में सेव बातचीत का इतिहास शामिल है) और कई चरणों वाले टूल-कॉलिंग लूप को ऑटोमेट करते हैं.

बोली और ऑडियो

उपयोगकर्ता के डिवाइस पर, बोले जा रहे शब्दों को टेक्स्ट में बदलना, उनका अनुवाद करना, और उन्हें सिंथेसाइज़ करना:

टेक्स्ट और इमेज से जुड़े टास्क

हाई-लेवल इंटरफ़ेस के ज़रिए, विज़न, राइटिंग, और सर्च से जुड़े सामान्य टास्क के लिए ऑप्टिमाइज़ किए गए टास्क-स्पेसिफ़िक एपीआई इस्तेमाल करें:

  • इमेज का ब्यौरा: दी गई इमेज के बारे में कम शब्दों में ब्यौरा जनरेट करें.
  • खास जानकारी पाना: लेखों या बातचीत की खास जानकारी को बुलेट वाली सूची के तौर पर पाएं.
  • प्रूफ़रीड करना: छोटे चैट मैसेज प्रूफ़रीड करें.
  • फिर से लिखना: चैट मैसेज को अलग-अलग टोन या स्टाइल में फिर से लिखें.
  • सिमैंटिक सर्च: Embedding API का इस्तेमाल करके, टेक्स्ट और इमेज के लिए वेक्टर एंबेडिंग जनरेट करें. साथ ही, उन्हें AndroidX AppSearch के साथ जोड़ें, ताकि कॉन्टेंट को उसके मतलब के हिसाब से ढूंढा जा सके.

AICore का आर्किटेक्चर

सिस्टम-लेवल मॉड्यूल के तौर पर, AICore को एपीआई की सीरीज़ के ज़रिए ऐक्सेस किया जाता है, ताकि डिवाइस पर अनुमान लगाया जा सके. इसके अलावा, AICore में सुरक्षा से जुड़ी कई सुविधाएं पहले से मौजूद हैं. इनसे यह पक्का किया जाता है कि हमारे सुरक्षा फ़िल्टर के हिसाब से, कॉन्टेंट का पूरी तरह से आकलन किया जाए. इस डायग्राम में बताया गया है कि डिवाइस पर Gemini Nano को चलाने के लिए, कोई ऐप्लिकेशन AICore को कैसे ऐक्सेस करता है.

एक डायग्राम, जिसमें दिखाया गया है कि कोई Android ऐप्लिकेशन, AICore को ऐक्सेस करने के लिए Google AI Edge SDK का इस्तेमाल कैसे करता है. AICore में, Gemini Nano, LoRA, और सुरक्षा से जुड़ी सुविधाओं को मैनेज किया जाता है. साथ ही, इन्हें हार्डवेयर से तेज़ी लाने वाले ऐक्सेलरेटर पर चलाया जाता है.
पहली इमेज. AICore, आपके ऐप्लिकेशन और Gemini Nano मॉडल के बीच इंटरफ़ेस के तौर पर काम करता है. यह मॉडल के अपडेट और सुरक्षा को मैनेज करता है. साथ ही, उपयोगकर्ता के डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करता है.

उपयोगकर्ता के डेटा की निजता और सुरक्षा बनाए रखना

उपयोगकर्ता के डिवाइस पर मौजूद जनरेटिव एआई, प्रॉम्प्ट को डिवाइस पर ही प्रोसेस करता है. इससे सर्वर कॉल की ज़रूरत नहीं पड़ती. इससे नेटवर्क लेटेंसी की समस्या दूर हो जाती है. हालांकि, अनुमान लगाने की स्पीड, डिवाइस के हार्डवेयर पर निर्भर करती है. इस तरीके से, संवेदनशील डेटा को डिवाइस पर ही सेव करके निजता को बेहतर बनाया जाता है. साथ ही, ऑफ़लाइन काम करने की सुविधा मिलती है और अनुमान लगाने की लागत कम होती है.

AICore, Private Compute Core के सिद्धांतों का पालन करता है. इसकी मुख्य विशेषताएं यहां दी गई हैं:

  • पैकेज बाइंडिंग पर पाबंदी: AICore को ज़्यादातर अन्य पैकेज से अलग रखा जाता है. हालांकि, कुछ खास सिस्टम पैकेज के लिए सीमित अपवाद होते हैं. इस सूची में कोई भी बदलाव, सिर्फ़ Android के ओटीए अपडेट के दौरान किया जा सकता है.
  • इंटरनेट का इनडायरेक्ट ऐक्सेस: AICore के पास इंटरनेट का डायरेक्ट ऐक्सेस नहीं होता. इंटरनेट से जुड़े सभी अनुरोध, ओपन-सोर्स Private Compute Services के कंपैनियन APK के ज़रिए रूट किए जाते हैं. इनमें मॉडल डाउनलोड करने के अनुरोध भी शामिल हैं. Private Compute Services में मौजूद एपीआई को साफ़ तौर पर यह बताना होगा कि वे निजता को ध्यान में रखकर बनाए गए हैं.

इसके अलावा, AICore को इस तरह से बनाया गया है कि वह हर अनुरोध को अलग-अलग प्रोसेस करे. साथ ही, उपयोगकर्ता की निजता बनाए रखने के लिए, वह इनपुट डेटा या उससे मिले आउटपुट का कोई रिकॉर्ड सेव नहीं करता. ज़्यादा जानने के लिए, ब्लॉग पोस्ट Gemini Nano के लिए निजता और सुरक्षा के बारे में जानकारी पढ़ें.

AICore का आर्किटेक्चर डायग्राम, जिसमें अनुरोध का फ़्लो दिखाया गया है: एपीआई सरफ़ेस, सुरक्षा सिग्नल के साथ इनपुट प्रोसेसिंग, सुविधा कॉन्फ़िगरेशन, मॉडल वेट और LoRA के साथ रनटाइम, और सुरक्षा सिग्नल के साथ आउटपुट प्रोसेसिंग. इसमें Private Compute Services के ज़रिए डाउनलोड किए गए मॉडल भी दिखते हैं.
दूसरी इमेज. AICore आर्किटेक्चर, इनपुट और आउटपुट की सुरक्षा, अनुरोध की प्रोसेसिंग, और मॉडल वेट को मैनेज करता है. इससे उपयोगकर्ता के डिवाइस पर मौजूद एआई के लिए सुरक्षित माहौल मिलता है.

AICore की मदद से, एआई के फ़ाउंडेशन मॉडल ऐक्सेस करने के फ़ायदे

AICore की मदद से, Android OS को एआई फ़ाउंडेशन मॉडल उपलब्ध कराने और उन्हें मैनेज करने की सुविधा मिलती है. इससे आपके ऐप्लिकेशन में इन बड़े मॉडल को इस्तेमाल करने की लागत काफ़ी कम हो जाती है. इसकी मुख्य वजहें ये हैं:

  • डिप्लॉयमेंट में आसानी: AICore, Gemini Nano के डिस्ट्रिब्यूशन को मैनेज करता है और आने वाले समय में मिलने वाले अपडेट को हैंडल करता है. आपको नेटवर्क पर बड़े मॉडल डाउनलोड करने या अपडेट करने की चिंता करने की ज़रूरत नहीं है. साथ ही, आपके ऐप्लिकेशन की डिस्क और रनटाइम मेमोरी के बजट पर भी कोई असर नहीं पड़ेगा.
  • तेज़ी से अनुमान लगाना: AICore, अनुमान लगाने की प्रोसेस को तेज़ करने के लिए, उपयोगकर्ता के डिवाइस पर मौजूद हार्डवेयर का इस्तेमाल करता है. आपका ऐप्लिकेशन हर डिवाइस पर बेहतरीन परफ़ॉर्मेंस देता है. साथ ही, आपको हार्डवेयर इंटरफ़ेस के बारे में चिंता करने की ज़रूरत नहीं पड़ती.

हाइब्रिड अनुमान का इस्तेमाल कब करना चाहिए

Gemini Nano, ऑफ़लाइन और निजता से जुड़े संवेदनशील टास्क के लिए सबसे सही है. हालांकि, उपयोगकर्ता के डिवाइस पर इसकी कुछ सीमाएं होती हैं. जैसे, टोकन की सीमाएं, डिवाइस के हार्डवेयर की सीमाएं, और मॉडल की क्षमता की सीमाएं. ऐसे मामलों में, हाइब्रिड इन्फ़्रेंस का इस्तेमाल करके, लोकल डिवाइस और क्लाउड के बीच एआई वर्कलोड को बैलेंस किया जा सकता है.

सभी डिवाइसों पर उपयोगकर्ताओं को एक जैसा अनुभव देने और मुश्किल सवालों को हल करने के लिए, Firebase AI Logic Hybrid API का इस्तेमाल किया जा सकता है. इससे आपका ऐप्लिकेशन ये काम कर सकता है:

  • फ़ॉलबैक की सुविधा: अगर उपयोगकर्ता के डिवाइस पर Gemini Nano उपलब्ध नहीं है या काम नहीं करता है, तो अनुरोधों को क्लाउड में Gemini Flash या Gemini Pro मॉडल पर अपने-आप रूट करें.
  • सुरक्षा लागू करना: Firebase App Check (और इसके साथ काम करने वाले अटेस्टेशन प्रोवाइडर, जैसे कि Play Integrity) की मदद से, क्लाउड इन्फ़्रेंस को सुरक्षित रखें. साथ ही, संवेदनशील सिस्टम प्रॉम्प्ट को सर्वर-साइड पर रखें.