Gemini Nano

Mit Gemini Nano können Sie auf generativer KI basierende Funktionen nutzen, ohne dass eine Netzwerkverbindung erforderlich ist oder Daten in die Cloud gesendet werden. On-Device-KI ist eine gute Lösung für Anwendungsfälle, bei denen niedrige Kosten und Datenschutz Ihre Hauptanliegen sind.

Für On-Device-Anwendungsfälle können Sie das Gemini Nano-Foundation Model von Google nutzen. Gemini Nano wird im AICore-Systemdienst von Android ausgeführt, der die Gerätehardware nutzt, um eine niedrige Inferenzlatenz zu ermöglichen und das Modell auf dem neuesten Stand zu halten.

ML Kit GenAI APIs

Die GenAI APIs von ML Kit nutzen die Leistungsfähigkeit von Gemini Nano, damit Ihre Apps generative KI-Aufgaben auf dem Gerät ausführen können. Diese APIs basieren auf AICore, einem Android-Systemdienst, der die Ausführung von GenAI-Foundation Models auf dem Gerät ermöglicht. Dadurch werden Funktionen wie erweiterte App-Funktionen und ein verbesserter Datenschutz durch die lokale Verarbeitung von Daten ermöglicht. Weitere Informationen

Wichtige Features

Das ML Kit unterteilt seine Funktionen für generative KI in die folgenden Kategorien:

Benutzerdefinierte Generierung und KI-Agenten

Sie können direkt mit dem Gemini Nano-Foundation Model für benutzerdefinierte Anwendungsfälle arbeiten:

  • Direkter Modellzugriff (mit der Klasse GenerativeModel): Generieren Sie Text oder typisierte strukturierte Ausgaben aus benutzerdefinierten reinen Text- oder multimodalen Prompts oder verwalten Sie Ihren eigenen Multi-Turn-Chatverlauf direkt mit einem List<Content>-Objekt mit den Rollen USER und MODEL und einem sessionId-Wert.
  • Agentische Workflows (mit der Klasse AgentRunner): Diese Workflows basieren auf der Klasse GenerativeModel und automatisieren die Verwaltung von Sitzungen mit mehreren Turns (einschließlich des Unterhaltungsverlaufs im Arbeitsspeicher) und mehrstufige Toolaufrufschleifen.

Sprache und Audio

Sprachaudio auf dem Gerät transkribieren, übersetzen und synthetisieren:

  • Spracherkennung: Transkribieren Sie gesprochene Audioinhalte in Text in derselben Sprache.
  • Sprachübersetzung: Gesprochene Audioinhalte in Echtzeit in Text in einer anderen Sprache übersetzen.
  • Text-to-Speech: Synthetisieren Sie natürlich klingende Sprachaudioinhalte aus Text.

Text- und Bildaufgaben

Verwenden Sie aufgabenspezifische APIs, die für gängige Vision-, Schreib- und Suchaufgaben optimiert sind, über eine übergeordnete Benutzeroberfläche:

  • Bildbeschreibung: Generieren Sie eine kurze Beschreibung eines bestimmten Bildes.
  • Zusammenfassung: Artikel oder Unterhaltungen als Aufzählungsliste zusammenfassen.
  • Korrekturlesen: Kurze Chatnachrichten korrekturlesen.
  • Umformulieren: Kurze Chatnachrichten in verschiedenen Tonfällen oder Stilen umformulieren.
  • Semantische Suche: Generieren Sie mit der Embedding API Vektoreinbettungen für Text und Bilder und verknüpfen Sie sie mit AndroidX AppSearch, um Inhalte nach Bedeutung zu finden.

Architektur über AICore

Als Modul auf Systemebene greifen Sie über eine Reihe von APIs auf AICore zu, um Inferenzen auf dem Gerät auszuführen. Darüber hinaus verfügt AICore über mehrere integrierte Sicherheitsfunktionen, die eine gründliche Bewertung anhand unserer Sicherheitsfilter ermöglichen. Das folgende Diagramm zeigt, wie eine App auf AICore zugreift, um Gemini Nano auf dem Gerät auszuführen.

Ein Diagramm, das zeigt, wie eine Android-App das Google AI Edge SDK verwendet, um auf AICore zuzugreifen, wo Gemini Nano, LoRA und Sicherheitsfunktionen verwaltet und auf Hardwarebeschleunigern ausgeführt werden.
Abbildung 1. AICore dient als Schnittstelle zwischen Ihrer App und dem Gemini Nano-Modell. Es verwaltet Modellupdates und die Sicherheit und nutzt gleichzeitig die On-Device-Hardware.

Nutzerdaten schützen und sichern

On-Device-generative KI führt Prompts lokal aus, sodass keine Serveraufrufe erforderlich sind. Dadurch wird zwar die Netzwerklatenz vermieden, die Inferenzgeschwindigkeit hängt jedoch von der Gerätehardware ab. Dieser Ansatz verbessert den Datenschutz, da sensible Daten auf dem Gerät bleiben, ermöglicht Offline-Funktionen und reduziert die Inferenzkosten.

AICore hält sich an die Prinzipien von Private Compute Core und hat die folgenden Hauptmerkmale:

  • Eingeschränkte Paketbindung: AICore ist von den meisten anderen Paketen isoliert, mit begrenzten Ausnahmen für bestimmte Systempakete. Änderungen an dieser Zulassungsliste können nur während eines vollständigen Android-Over-the-Air-Updates vorgenommen werden.
  • Indirekter Internetzugriff: AICore hat keinen direkten Internetzugriff. Alle Internetanfragen, einschließlich Modelldownloads, werden über die Open-Source-Companion-APK Private Compute Services weitergeleitet. APIs in Private Compute Services müssen explizit ihre datenschutzorientierte Natur demonstrieren.

Außerdem ist AICore so konzipiert, dass jede Anfrage isoliert wird. Zum Schutz der Privatsphäre der Nutzer werden nach der Verarbeitung keine Eingabedaten oder resultierenden Ausgaben gespeichert. Weitere Informationen finden Sie im Blogpost An Introduction to Privacy and Safety for Gemini Nano.

Ein detailliertes Architekturdiagramm von AICore, das den Anfragefluss zeigt: API-Oberfläche, Eingabeverarbeitung mit Sicherheitssignalen, Featurekonfiguration, Laufzeit mit Modellgewichtungen und LoRAs sowie Ausgabeverarbeitung mit Sicherheitssignalen. Außerdem werden Modelldownloads über Private Compute Services angezeigt.
Abbildung 2: Die AICore-Architektur verwaltet die Eingabe- und Ausgabesicherheit, die Anfrageverarbeitung und die Modellgewichtungen, um eine sichere Umgebung für On-Device-KI bereitzustellen.

Vorteile des Zugriffs auf KI-Foundation-Models mit AICore

AICore ermöglicht es dem Android-Betriebssystem, KI-Foundation-Models bereitzustellen und zu verwalten. Dadurch werden die Kosten für die Verwendung dieser großen Modelle in Ihrer Anwendung erheblich gesenkt, hauptsächlich aus folgenden Gründen:

  • Einfache Bereitstellung: AICore verwaltet die Verteilung von Gemini Nano und kümmert sich um zukünftige Updates. Sie müssen sich keine Gedanken über das Herunterladen oder Aktualisieren großer Modelle über das Netzwerk machen und auch nicht über die Auswirkungen auf das Speicher- und Laufzeitbudget Ihrer App.
  • Beschleunigte Inferenz: AICore nutzt On-Device-Hardware, um die Inferenz zu beschleunigen. Ihre App erzielt auf jedem Gerät die beste Leistung und Sie müssen sich keine Gedanken über die zugrunde liegenden Hardwareschnittstellen machen.

Wann sollte die Hybridinferenz verwendet werden?

Obwohl Gemini Nano ideal für Offline- und datenschutzrelevante Aufgaben ist, gibt es Einschränkungen auf dem Gerät, z. B. Token-Limits, Hardwarebeschränkungen und Einschränkungen der Modellfunktionen. In diesen Szenarien können Sie die Hybrid-Inferenz verwenden, um KI-Arbeitslasten zwischen dem lokalen Gerät und der Cloud auszugleichen.

Wenn Sie eine einheitliche Nutzererfahrung auf allen Geräten bieten und komplexe Abfragen verarbeiten möchten, können Sie die Firebase AI Logic Hybrid API verwenden. Dadurch kann Ihre App Folgendes tun:

  • Fallback-Optionen: Anfragen werden automatisch an Gemini Flash- oder Gemini Pro-Modelle in der Cloud weitergeleitet, wenn Gemini Nano auf dem Gerät des Nutzers nicht verfügbar oder nicht unterstützt wird.
  • Sicherheit erzwingen: Schützen Sie die Cloud-Inferenz mit Firebase App Check (und den unterstützten Attestierungsanbietern wie Play Integrity) und speichern Sie vertrauliche System-Prompts serverseitig.