Karma çıkarım

Google, hem bulut tabanlı hem de cihaz üzerinde çıkarım için sektör lideri yapay zeka modelleri ve API'lerden oluşan geniş bir seçenek sunar. Hibrit çıkarım, yapay zeka iş yüklerini yerel cihaz ile bulut arasında sorunsuz bir şekilde dengelemenize olanak tanıyarak performansı, maliyeti ve kullanılabilirliği optimize eder.

Karma çıkarım, Android uygulamanız için iki temel avantaj sunar:

  • Erişimi artırma: Bulut modelleri, cihaz donanımı veya OS kısıtlamaları nedeniyle Gemini Nano gibi cihaz üzerinde çalışan modeller kullanılamadığında önemli bir yedek olarak işlev görür. Bu sayede yapay zeka özelliklerinizin mümkün olan en geniş kullanıcı cihazı yelpazesinde işlevsel kalması sağlanır.
  • Maliyet ve çevrimdışı özellikler: Cihaz üzerinde modeller, kullanıcının çevrimdışı olduğu durumlarda yapay zeka özelliklerinizin sorunsuz çalışmasını sağlar. Ayrıca, rutin görevleri yerel cihaza boşaltmak bulut çıkarımı maliyetlerini azaltmaya yardımcı olur.
Cihaz üzerinde çıkarım ile bulut çıkarımı arasındaki gerekçeyi gösteren diyagram.
Şekil 1: Cihaz üzerinde çıkarım ve bulut çıkarımının avantajları.

Uygulama seçenekleri

Aşağıdaki yaklaşımları kullanarak karma çıkarım uygulayabilirsiniz:

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API, çıkarımı bulut ve cihaz üzerinde ortamları arasında bölmek için tek ve birleşik bir arayüz sağlar.

Çıkarım modunu tanımlamak ve yönlendirmeyi yönetmek için basit kontroller sağlayan bir onDeviceConfig parametresi içerir:

  • PREFER_ON_DEVICE: Cihaz üzerinde modeli kullanmayı dener. Cihaz üzerinde model kullanılamıyorsa veya istek için desteklenmiyorsa otomatik olarak bulutta barındırılan modele geri döner.
  • PREFER_IN_CLOUD: Cihaz internete bağlıyken ve model kullanılabilir durumdayken bulutta barındırılan modeli kullanmaya çalışır. Yalnızca cihaz çevrimdışıysa cihaz üzerindeki modele geri döner.
  • ONLY_ON_DEVICE: Cihaz üzerinde modeli kullanmaya çalışır ancak istek için kullanılamıyorsa veya desteklenmiyorsa istisna oluşturur.
  • ONLY_IN_CLOUD: Cihaz çevrimiçiyken ve model kullanıma hazır olduğunda bulutta barındırılan modeli kullanmaya çalışır, diğer tüm durumlarda istisna oluşturur.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-2.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)
    )


val response = model.generateContent("Write a story about a green robot.")
print(response.text)

Uygulama ayrıntıları için Firebase dokümanlarını inceleyin ve yapay zeka kataloğundaki Hibrit Yapay Zeka örneğini keşfedin.

Özel yönlendirme

Uygulamanızın belirli iş veya kullanıcı deneyimi gereksinimleri varsa özel yönlendirme mantığı da uygulayabilirsiniz. Bu sayede, çıkarım yolunu aşağıdakiler gibi gerçek zamanlı faktörlere göre dinamik olarak belirleyebilirsiniz:

  • Ağ gecikmesi
  • Cihaz sisteminin durumu (ör. pil seviyeleri ve işlemci yükü)
  • Kullanıcı sorgusunun karmaşıklığı

Bu özel karma çıkarım yaklaşımı, aşağıdakiler de dahil olmak üzere güvenilir yapay zeka deneyimleri sunmak için kendi özel yönlendirmelerini uygulayan önde gelen uygulamalar tarafından kullanılır:

  • Gboard: Gboard, gözden geçirme ve yeniden yazma gibi yazma araçlarına güç sağlamak için özel hibrit çıkarım kullanır.

  • Kakao Mobility: Kakao Mobility, paket teslimatı hizmeti için özel hibrit çıkarım kullanarak bir Varlık Çıkarma aracı oluşturdu. Bu araç, sipariş formlarını kolaylaştırmak için doğal dil mesajlarından alıcı adlarını, adreslerini ve telefon numaralarını otomatik olarak çıkarıyor.