Gemini Nano ช่วยให้คุณมอบประสบการณ์ Generative AI ที่หลากหลายโดยไม่จำเป็นต้องเชื่อมต่อเครือข่ายหรือส่งข้อมูลไปยังระบบคลาวด์ AI ในอุปกรณ์เป็นโซลูชันที่ยอดเยี่ยมสำหรับกรณีการใช้งานที่ต้นทุนต่ำและการป้องกันความเป็นส่วนตัวเป็นข้อกังวลหลักของคุณ
สำหรับกรณีการใช้งานในอุปกรณ์ คุณสามารถใช้ประโยชน์จากโมเดลพื้นฐาน Gemini Nano ของ Google ได้ Gemini Nano ทำงานในบริการ AICore ของระบบ Android ซึ่งใช้ประโยชน์จากฮาร์ดแวร์ของอุปกรณ์ทำให้เวลาในการตอบสนองสำหรับการอนุมานต่ำ และโมเดลเป็นเวอร์ชันล่าสุดอยู่เสมอ
ML Kit GenAI API
GenAI API ของ ML Kit ใช้ประโยชน์จากความสามารถของ Gemini Nano เพื่อช่วยให้แอปของคุณทำงาน Generative AI ในอุปกรณ์ได้ API เหล่านี้สร้างขึ้นบน AICore ซึ่งเป็นบริการระบบ Android ที่ช่วยให้สามารถเรียกใช้โมเดลพื้นฐาน GenAI ในอุปกรณ์เพื่ออำนวยความสะดวกให้กับฟีเจอร์ต่างๆ เช่น ฟังก์ชันการทำงานของแอปที่ได้รับการปรับปรุงและความเป็นส่วนตัวของผู้ใช้ที่ดีขึ้นด้วยการประมวลผลข้อมูลในเครื่อง ดูข้อมูลเพิ่มเติม
ฟีเจอร์หลัก
ML Kit จัดระเบียบความสามารถของ GenAI ออกเป็นหมวดหมู่ต่อไปนี้
การสร้างและ Agent ที่กำหนดเอง
ทำงานร่วมกับโมเดลพื้นฐาน Gemini Nano โดยตรงสำหรับกรณีการใช้งานที่กำหนดเอง
- การเข้าถึงโมเดลโดยตรง (โดยใช้คลาส
GenerativeModel): สร้างข้อความหรือเอาต์พุตที่มีโครงสร้างแบบพิมพ์จากพรอมต์แบบข้อความเท่านั้นหรือแบบหลายรูปแบบที่กำหนดเอง หรือจัดการประวัติการแชทแบบหลายเทิร์นของคุณเองโดยตรงโดยใช้ออบเจ็กต์List<Content>ที่มีบทบาทUSERและMODELและค่าsessionId - เวิร์กโฟลว์ Agentic (ใช้คลาส
AgentRunner): สร้างขึ้นจากคลาสGenerativeModelซึ่งจะทำให้การจัดการเซสชันแบบหลายเทิร์น (รวมถึงประวัติการสนทนาในหน่วยความจำ) และลูปการเรียกใช้เครื่องมือแบบหลายขั้นตอนเป็นแบบอัตโนมัติ
เสียงพูดและเสียง
ถอดเสียง แปล และสังเคราะห์เสียงพูดในอุปกรณ์:
- การรู้จำเสียงพูด: ถอดเสียงเนื้อหาเสียงพูดเป็นข้อความในภาษาเดียวกัน
- การแปลเสียงพูด: แปลเสียงพูดเป็นข้อความในภาษาอื่นแบบเรียลไทม์
- การอ่านออกเสียงข้อความ: สังเคราะห์เสียงพูดที่ฟังดูเป็นธรรมชาติจากข้อความ
งานเกี่ยวกับข้อความและรูปภาพ
ใช้ API เฉพาะงานที่เพิ่มประสิทธิภาพสำหรับงานด้านการมองเห็น การเขียน และการค้นหาทั่วไปผ่านอินเทอร์เฟซระดับสูง
- คำอธิบายรูปภาพ: สร้างคำอธิบายสั้นๆ ของรูปภาพที่ระบุ
- การสรุป: สรุปบทความหรือการสนทนาเป็นรายการสัญลักษณ์หัวข้อย่อย
- การพิสูจน์อักษร: พิสูจน์อักษรข้อความแชทสั้นๆ
- การเขียนใหม่: เขียนข้อความแชทสั้นๆ ใหม่ในโทนหรือสไตล์ที่แตกต่างกัน
- การค้นหาเชิงความหมาย: สร้างการฝังเวกเตอร์สำหรับข้อความและรูปภาพโดยใช้ Embedding API และจับคู่กับ AppSearch ของ AndroidX เพื่อค้นหาเนื้อหาตามความหมาย
ทักษะ Android
ดูใน GitHubใช้ ML Kit Prompt API
android skills add ml-kit-genai-prompt-apiสถาปัตยกรรมผ่าน AICore
ในฐานะโมดูลระดับระบบ คุณจะเข้าถึง AICore ผ่านชุด API เพื่อเรียกใช้การอนุมานในอุปกรณ์ นอกจากนี้ AICore ยังมีฟีเจอร์ความปลอดภัยในตัวหลายอย่าง ซึ่งช่วยให้มั่นใจได้ว่าการประเมินจะผ่านตัวกรองความปลอดภัยของเราอย่างละเอียด แผนภาพต่อไปนี้แสดงวิธีที่แอปเข้าถึง AICore เพื่อเรียกใช้ Gemini Nano ในอุปกรณ์
รักษาข้อมูลผู้ใช้ให้เป็นส่วนตัวและปลอดภัย
Generative AI ในอุปกรณ์จะเรียกใช้พรอมต์ในเครื่องโดยไม่ต้องเรียกใช้เซิร์ฟเวอร์ แม้ว่าวิธีนี้จะช่วยลดเวลาในการตอบสนองของเครือข่าย แต่ความเร็วในการอนุมานจะขึ้นอยู่กับฮาร์ดแวร์ของอุปกรณ์ แนวทางนี้ช่วยเพิ่มความเป็นส่วนตัวโดยเก็บข้อมูลที่ละเอียดอ่อนไว้ในอุปกรณ์ ช่วยให้ใช้งานแบบออฟไลน์ได้ และลดต้นทุนในการอนุมาน
AICore เป็นไปตามหลักการของ Private Compute Core โดยมีลักษณะสำคัญดังต่อไปนี้
- การเชื่อมโยงแพ็กเกจแบบจำกัด: AICore จะแยกออกจากแพ็กเกจอื่นๆ ส่วนใหญ่ โดยมีข้อยกเว้นแบบจำกัดสำหรับแพ็กเกจระบบบางแพ็กเกจ การแก้ไขรายการที่อนุญาตนี้จะทำได้ในระหว่างการอัปเดต Android OTA แบบเต็มเท่านั้น
- การเข้าถึงอินเทอร์เน็ตโดยอ้อม: AICore ไม่มีการเข้าถึงอินเทอร์เน็ตโดยตรง คำขอทางอินเทอร์เน็ตทั้งหมด รวมถึงการดาวน์โหลดโมเดล จะกำหนดเส้นทางผ่าน APK ที่เป็นคอมพาเนียนของ Private Compute Services แบบโอเพนซอร์ส API ภายใน Private Compute Services ต้องแสดงให้เห็นอย่างชัดเจนถึงลักษณะที่เน้นความเป็นส่วนตัว
นอกจากนี้ AICore ยังสร้างขึ้นเพื่อแยกคำขอแต่ละรายการและไม่จัดเก็บบันทึกข้อมูลที่ป้อนหรือเอาต์พุตที่ได้หลังจากประมวลผลเพื่อปกป้องความเป็นส่วนตัวของผู้ใช้ อ่านบล็อกโพสต์ข้อมูลเบื้องต้นเกี่ยวกับความเป็นส่วนตัวและความปลอดภัยสำหรับ Gemini Nano เพื่อดูข้อมูลเพิ่มเติม
ประโยชน์ของการเข้าถึงโมเดลพื้นฐานของ AI ด้วย AICore
AICore ช่วยให้ระบบปฏิบัติการ Android สามารถจัดหาและจัดการโมเดลพื้นฐานของ AI ได้ ซึ่งจะช่วยลดค่าใช้จ่ายในการใช้โมเดลขนาดใหญ่เหล่านี้ในแอปได้อย่างมาก โดยมีสาเหตุหลักมาจากสิ่งต่อไปนี้
- ติดตั้งใช้งานง่าย: AICore จะจัดการการเผยแพร่ Gemini Nano และจัดการการอัปเดตในอนาคต คุณไม่ต้องกังวลเกี่ยวกับการดาวน์โหลดหรืออัปเดตโมเดลขนาดใหญ่ผ่านเครือข่าย และไม่ส่งผลกระทบต่องบประมาณดิสก์และหน่วยความจำรันไทม์ของแอป
- การอนุมานที่รวดเร็วขึ้น: AICore ใช้ประโยชน์จากฮาร์ดแวร์ในอุปกรณ์เพื่อเร่งการอนุมาน แอปของคุณจะทำงานได้ดีที่สุดในอุปกรณ์แต่ละเครื่อง และคุณไม่ต้องกังวลเกี่ยวกับอินเทอร์เฟซฮาร์ดแวร์ที่สำคัญ
กรณีที่ควรใช้การอนุมานแบบผสม
แม้ว่า Gemini Nano จะเหมาะสำหรับงานที่ต้องทำแบบออฟไลน์และมีความละเอียดอ่อนด้านความเป็นส่วนตัว แต่ก็มีข้อจำกัดในอุปกรณ์ เช่น ขีดจำกัดโทเค็น ข้อจำกัดด้านฮาร์ดแวร์ของอุปกรณ์ และขอบเขตความสามารถของโมเดล ในสถานการณ์เหล่านี้ คุณสามารถใช้การอนุมานแบบผสมเพื่อสร้างสมดุลของภาระงาน AI ระหว่างอุปกรณ์ในเครื่องกับระบบคลาวด์
คุณสามารถใช้ Firebase AI Logic Hybrid API เพื่อให้ผู้ใช้ได้รับประสบการณ์การใช้งานที่สอดคล้องกันในอุปกรณ์ทุกเครื่องและจัดการคำค้นหาที่ซับซ้อนได้ ซึ่งจะช่วยให้แอปของคุณทำสิ่งต่อไปนี้ได้
- สำรองข้อมูลอย่างราบรื่น: กำหนดเส้นทางคำขอไปยังโมเดล Gemini Flash หรือ Gemini Pro ในระบบคลาวด์โดยอัตโนมัติเมื่อ Gemini Nano ไม่พร้อมใช้งานหรือไม่รองรับในอุปกรณ์ของผู้ใช้
- บังคับใช้การรักษาความปลอดภัย: ปกป้องการอนุมานในระบบคลาวด์ด้วย Firebase App Check (และผู้ให้บริการเอกสารรับรองที่รองรับ เช่น Play Integrity) และเก็บพรอมต์ระบบที่มีความละเอียดอ่อนไว้ฝั่งเซิร์ฟเวอร์