הסקת מסקנות היברידית

‫Google מספקת מבחר רחב של מודלים וממשקי API מובילים בתחום ה-AI, הן להסקת מסקנות מבוססת-ענן והן להסקת מסקנות במכשיר. הסקת מסקנות היברידית מאפשרת לכם לאזן בצורה חלקה בין עומסי עבודה של AI במכשיר המקומי ובענן, ולבצע אופטימיזציה של הביצועים, העלות והזמינות.

הסקת מסקנות היברידית מספקת שני יתרונות עיקריים לאפליקציית Android שלכם:

  • מקסימום חשיפה: מודלים בענן משמשים כגיבוי חשוב כשמודלים במכשיר, כמו Gemini Nano, לא זמינים בגלל מגבלות של חומרת המכשיר או מערכת ההפעלה. כך אנחנו יכולים לוודא שתכונות ה-AI ימשיכו לפעול במגוון רחב ככל האפשר של מכשירי משתמשים.
  • עלות ויכולות אופליין: מודלים במכשיר עוזרים לוודא שתכונות ה-AI פועלות בצורה חלקה כשהמשתמש נמצא במצב אופליין. בנוסף, העברת משימות שגרתיות למכשיר המקומי עוזרת להפחית את עלויות ההסקה בענן.
דיאגרמה שמציגה את ההסבר להסקת מסקנות במכשיר לעומת הסקת מסקנות בענן.
איור 1: היתרונות של הסקת מסקנות במכשיר והסקת מסקנות בענן.

אפשרויות הטמעה

אפשר להטמיע היסק היברידי באמצעות הגישות הבאות:

Firebase AI Logic Hybrid API

‫Firebase AI Logic Hybrid API מספק ממשק יחיד ומאוחד לפיצול הסקת מסקנות בין סביבות ענן וסביבות במכשיר.

הוא כולל פרמטר onDeviceConfig שמספק אמצעי בקרה פשוטים להגדרת מצב ההסקה ולניהול הניתוב:

  • ‫PREFER_ON_DEVICE: המערכת מנסה להשתמש במודל שפועל במכשיר, ואם המודל הזה לא זמין או לא נתמך לבקשה, היא עוברת אוטומטית למודל שמתארח בענן.
  • ‫PREFER_IN_CLOUD: המערכת מנסה להשתמש במודל שמתארח בענן כשהמכשיר מחובר לאינטרנט והמודל זמין, וחוזרת למודל במכשיר רק אם המכשיר במצב אופליין.
  • ‫ONLY_ON_DEVICE: מנסה להשתמש במודל במכשיר, אבל מחזיר חריגה אם הוא לא זמין או לא נתמך בבקשה.
  • ‫ONLY_IN_CLOUD: המערכת מנסה להשתמש במודל שמתארח בענן כשהמכשיר מחובר לאינטרנט והמודל זמין, ומציגה חריגה בכל המקרים האחרים.
val model = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-2.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.PREFER_ON_DEVICE)
    )


val response = model.generateContent("Write a story about a green robot.")
print(response.text)

פרטים על ההטמעה מופיעים במסמכי התיעוד של Firebase. אפשר גם לעיין בדוגמה ל-AI היברידי בקטלוג ה-AI.

ניתוב בהתאמה אישית

אם לאפליקציה שלכם יש דרישות ספציפיות לגבי העסק או חוויית המשתמש, אתם יכולים גם להטמיע לוגיקה מותאמת אישית של ניתוב. כך אפשר לקבוע באופן דינמי את נתיב ההסקה על סמך גורמים בזמן אמת, כמו:

  • זמן האחזור של הרשת
  • תקינות מערכת המכשיר (לדוגמה, רמות הסוללה ועומס המעבד)
  • מורכבות שאילתת המשתמש

הגישה ההיברידית המותאמת הזו להסקת מסקנות משמשת אפליקציות מובילות שהטמיעו ניתוב מותאם אישית משלהן כדי לספק חוויות AI מהימנות, כולל:

  • ‫GBoard: ב-Gboard נעשה שימוש בהסקת מסקנות היברידית מותאמת אישית כדי להפעיל את הכלים לניסוח טקסט, כמו הגהה ושכתוב.

  • ‫Kakao Mobility: חברת Kakao Mobility יצרה כלי לחילוץ ישויות באמצעות הסקה היברידית בהתאמה אישית עבור שירות משלוחי החבילות שלה. הכלי מחלץ באופן אוטומטי שמות של נמענים, כתובות ומספרי טלפון מהודעות בשפה טבעית כדי לייעל את טפסי ההזמנה.