Gemini Nano

O Gemini Nano oferece experiências avançadas em IA generativa sem a necessidade de uma conexão de rede ou de enviar dados para a nuvem. A IA no dispositivo é uma ótima solução para casos de uso em que o baixo custo e as proteções de privacidade são suas principais preocupações.

Para casos de uso no dispositivo, use o modelo de fundação Gemini Nano do Google. O Gemini Nano é executado no serviço de sistema AICore do Android, que usa o hardware do dispositivo para permitir baixa latência de inferência e manter o modelo atualizado.

APIs GenAI do Kit de ML

As APIs GenAI do Kit de ML usam o poder do Gemini Nano para ajudar seus apps a realizar tarefas de IA generativa no dispositivo. Essas APIs são criadas com base no AICore, um serviço do sistema Android que permite a execução no dispositivo de modelos de fundação de IA generativa para facilitar recursos como funcionalidade aprimorada de apps e maior privacidade do usuário ao processar dados localmente. Saiba mais.

Observação: os termos adicionais de serviço da API GenAI do Kit de ML se aplicam ao uso das APIs GenAI. Os desenvolvedores são os únicos responsáveis pela segurança do cliente de API e pela experiência do usuário no app.

Principais recursos

O Kit de ML organiza os recursos de IA generativa nas seguintes categorias:

Geração e agentes personalizados

Trabalhe diretamente com o modelo de fundação Gemini Nano para casos de uso personalizados:

• Acesso direto ao modelo (usando a classe GenerativeModel): gere texto gerado ou saída estruturada digitada com base em comandos personalizados somente de texto ou comandos multimodais ou gerencie seu próprio histórico de conversas multiturno diretamente usando um objeto List<Content> com papéis USER e MODEL e um valor sessionId.
• Agentic workflows (usando a classe AgentRunner): criados com base na classe GenerativeModel, automatizando o gerenciamento de sessões multiturno (incluindo o histórico de conversas na memória) e loops de chamada de ferramentas em várias etapas.

Fala e áudio

Transcreva, traduza e sintetize áudio de fala no dispositivo:

• Reconhecimento de fala: transcreva conteúdo de áudio falado em texto no mesmo idioma.
• Tradução Simultânea: traduza áudio falado em texto em outro idioma em tempo real.
• Text-to-Speech: sintetize áudio de fala com som natural a partir de texto.

Tarefas de texto e imagem

Use APIs específicas para tarefas otimizadas para tarefas comuns de visão, escrita e pesquisa com uma interface de alto nível:

• Descrição da imagem: gere uma breve descrição de uma determinada imagem.
• Resumo: resuma artigos ou conversas em uma lista com marcadores.
• Revisão: revise mensagens curtas de chat.
• Reescrever: reescreva mensagens de chat curtas em diferentes tons ou estilos.
• Pesquisa semântica: gere embeddings de vetor para textos e imagens usando a API Embedding e combine-os com o AppSearch do AndroidX para encontrar conteúdo por significado.

Habilidades do Android

Ver no GitHub

Usar a API Prompt do Kit de ML

Use uma habilidade do Android para integrar e otimizar a API Prompt do Kit de ML no seu app.

Para instalar a habilidade na CLI do Android, execute:

android skills add ml-kit-genai-prompt-api

Arquitetura pelo AICore

Como um módulo no nível do sistema, você acessa o AICore por uma série de APIs para executar inferências no dispositivo. Além disso, o AICore tem vários recursos de segurança integrados, garantindo uma avaliação completa em relação aos nossos filtros de segurança. O diagrama a seguir mostra como um app acessa o AICore para executar o Gemini Nano no dispositivo.

Figura 1. O AICore serve como a interface entre seu app e o modelo Gemini Nano, gerenciando as atualizações e a segurança do modelo enquanto aproveita o hardware no dispositivo.

Proteger e manter a privacidade dos dados do usuário

A IA generativa no dispositivo executa comandos localmente, eliminando as chamadas de servidor. Embora isso remova a latência da rede, a velocidade de inferência depende do hardware do dispositivo. Essa abordagem aumenta a privacidade ao manter dados sensíveis no dispositivo, permite a funcionalidade off-line e reduz os custos de inferência.

O AICore segue os princípios do Private Compute Core, com as seguintes características principais:

• Vinculação de pacotes restrita: o AICore é isolado da maioria dos outros pacotes, com exceções limitadas para pacotes de sistema específicos. As modificações nessa lista só podem ocorrer durante uma atualização OTA completa do Android.
• Acesso indireto à Internet: o AICore não tem acesso direto à Internet. Todas as solicitações de Internet, incluindo downloads de modelos, são roteadas pelo APK complementar de código aberto Private Compute Services. As APIs no Private Compute Services precisam demonstrar explicitamente que são centradas na privacidade.

Além disso, o AICore foi criado para isolar cada solicitação e não armazena nenhum registro dos dados de entrada ou das saídas resultantes após o processamento para proteger a privacidade do usuário. Leia o post do blog Uma introdução à privacidade e segurança do Gemini Nano para saber mais.

Figura 2. A arquitetura do AICore gerencia a segurança de entrada e saída, o processamento de solicitações e os pesos do modelo para fornecer um ambiente seguro para a IA no dispositivo.

Benefícios de acessar modelos de fundação de IA com o AICore

O AICore permite que o SO Android forneça e gerencie modelos de fundação de IA. Isso reduz significativamente o custo de uso desses modelos grandes no app, principalmente devido ao seguinte:

• Facilidade de implantação: o AICore gerencia a distribuição do Gemini Nano e as atualizações futuras. Você não precisa se preocupar em baixar ou atualizar modelos grandes pela rede, nem com o impacto no orçamento de memória de disco e de ambiente de execução do app.
• Inferência acelerada: o AICore usa o hardware no dispositivo para acelerar a inferência. Seu app terá o melhor desempenho em cada dispositivo, e você não precisará se preocupar com as interfaces de hardware subjacentes.

Quando usar a inferência híbrida

Embora o Gemini Nano seja ideal para tarefas off-line e que exigem privacidade, ele tem restrições no dispositivo, como limites de tokens, limitações de hardware do dispositivo e limites de capacidade do modelo. Nesses cenários, é possível usar a inferência híbrida para equilibrar as cargas de trabalho de IA entre o dispositivo local e a nuvem.

Para garantir uma experiência do usuário consistente em todos os dispositivos e lidar com consultas complexas, use a API híbrida do Firebase AI Logic. Isso permite que o app faça o seguinte:

• Fallback otimizado: encaminhe automaticamente as solicitações para os modelos Gemini Flash ou Gemini Pro na nuvem quando o Gemini Nano estiver indisponível ou não for compatível com o dispositivo do usuário.
• Reforçar a segurança: proteja a inferência na nuvem com o Firebase App Check (e os provedores de atestado compatíveis, como o Play Integrity) e mantenha os comandos sensíveis do sistema do lado do servidor.