Google cung cấp nhiều mô hình AI và API hàng đầu trong ngành cho cả suy luận dựa trên đám mây và trên thiết bị. Suy luận kết hợp cho phép bạn cân bằng liền mạch các tải công việc AI giữa thiết bị cục bộ và đám mây, tối ưu hoá hiệu suất, chi phí và khả năng sử dụng.
Suy luận kết hợp mang lại 2 lợi thế chính cho ứng dụng Android của bạn:
- Tối đa hoá phạm vi tiếp cận: Các mô hình trên đám mây đóng vai trò là phương án dự phòng quan trọng khi các mô hình trên thiết bị (chẳng hạn như Gemini Nano) không dùng được do phần cứng thiết bị hoặc các hạn chế về hệ điều hành. Điều này giúp đảm bảo rằng các tính năng AI của bạn vẫn hoạt động trên nhiều thiết bị người dùng nhất có thể.
- Chi phí và khả năng ngoại tuyến: Các mô hình trên thiết bị giúp đảm bảo rằng các tính năng AI của bạn hoạt động liền mạch khi người dùng ở chế độ ngoại tuyến. Ngoài ra, việc chuyển các tác vụ thông thường sang thiết bị cục bộ giúp giảm chi phí suy luận trên đám mây.
Sau đây là các lợi ích của suy luận trên thiết bị và suy luận trên đám mây:
| Suy luận trên thiết bị | Suy luận trên đám mây |
|---|---|
| Dùng được ở chế độ ngoại tuyến | Tương thích với mọi thiết bị |
| Không tốn chi phí suy luận | Các tính năng nâng cao của mô hình |
Các hình thức triển khai
Bạn có thể triển khai suy luận kết hợp bằng các phương pháp sau:
Firebase AI Logic Hybrid API
Firebase AI Logic Hybrid API cung cấp một giao diện hợp nhất duy nhất để chia nhỏ suy luận giữa môi trường đám mây và trên thiết bị.
API này bao gồm tham số onDeviceConfig cung cấp các chế độ điều khiển đơn giản để xác định
chế độ suy luận và quản lý việc định tuyến:
PREFER_ON_DEVICE: cố gắng sử dụng mô hình trên thiết bị, tự động chuyển về mô hình được lưu trữ trên đám mây nếu mô hình trên thiết bị không dùng được hoặc không được hỗ trợ cho yêu cầu.PREFER_IN_CLOUD: cố gắng sử dụng mô hình được lưu trữ trên đám mây khi thiết bị ở chế độ trực tuyến và mô hình này dùng được, chỉ chuyển về mô hình trên thiết bị nếu thiết bị ở chế độ ngoại tuyến.ONLY_ON_DEVICE: cố gắng sử dụng mô hình trên thiết bị, nhưng sẽ gửi ra một ngoại lệ nếu mô hình này không dùng được hoặc không được hỗ trợ cho yêu cầu.ONLY_IN_CLOUD: cố gắng sử dụng mô hình được lưu trữ trên đám mây khi thiết bị ở chế độ trực tuyến và mô hình này dùng được, gửi ra một ngoại lệ trong tất cả các trường hợp khác.
val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI()) .generativeModel( modelName = "gemini-2.5-flash", onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE) ) val response = model.generateContent("Write a story about a green robot.") print(response.text)
Để biết chi tiết triển khai, hãy xem tài liệu về Firebase và khám phá mẫu AI kết hợp trong danh mục AI.
Định tuyến tuỳ chỉnh
Nếu ứng dụng của bạn có các yêu cầu cụ thể về nghiệp vụ hoặc trải nghiệm người dùng, bạn cũng có thể triển khai logic định tuyến tuỳ chỉnh. Điều này cho phép bạn xác định động đường dẫn suy luận dựa trên các yếu tố theo thời gian thực, chẳng hạn như:
- Độ trễ mạng
- Tình trạng hệ thống của thiết bị (ví dụ: mức pin và mức tải của bộ xử lý)
- Độ phức tạp của truy vấn người dùng
Phương pháp suy luận kết hợp tuỳ chỉnh này được các ứng dụng hàng đầu sử dụng. Các ứng dụng này đã triển khai tính năng định tuyến tuỳ chỉnh riêng để mang lại trải nghiệm AI đáng tin cậy, bao gồm:
GBoard: Gboard sử dụng suy luận kết hợp tuỳ chỉnh để hỗ trợ các công cụ viết như đọc và viết lại.
Kakao Mobility: Kakao Mobility đã xây dựng một công cụ Trích xuất thực thể bằng cách sử dụng suy luận kết hợp tuỳ chỉnh cho dịch vụ giao bưu kiện của họ. Công cụ này tự động trích xuất tên người nhận, địa chỉ và số điện thoại từ các thông báo bằng ngôn ngữ tự nhiên để đơn giản hoá biểu mẫu đặt hàng.