Media Enhancement API, sıfır APK şişkinliğiyle yüksek kaliteli medya iyileştirmeleri sunmak için donanım hızlandırmadan yararlanan, düşük gecikmeli, gizliliği korumaya yönelik, cihaz üzerinde yapay zeka çözümü sunar. Daha fazla bilgi için Medya iyileştirme özelliklerini anlama başlıklı makaleyi inceleyin.
Aşağıdaki mimari diyagramda, Media Enhancement API'nin eşzamansız yüzey modu yürütme yaşam döngüsü gösterilmektedir. Bu mod, donanım arabelleklerini doğrudan bağlayarak sıkıştırılmamış karelerin CPU ve GPU bellek arabellekleri arasında kopyalanmasından kaynaklanan performans darboğazını ortadan kaldırır.
İyileştirme ardışık düzeni aşağıdaki adımlarla uygulanır:
1. Aşama: Geliştirme oturumunu ayarlama
1. Giriş yüzeyi sağlama: Uygulamanız, işlenecek karelere erişmek için geliştirme çerçevesine bir giriş yüzeyi tutma yeri sağlar.
2. Çıkış yüzeyini ayarlama: Uygulamanız, oluşturma hedeflerini (ör. SurfaceView veya TextureView) doğrudan çerçeveye sağlar ve bağlar.
2. Aşama: Giriş karesi oluşturma
3. Temel medyayı hazırlama: Uygulamanız, sıkıştırılmamış temel medyayı alır. Örneğin, yerel diskteki bir dosyayı okuyarak.
4. Kare verilerini ekleme: Uygulamanız, ham resim yükünü doğrudan bağlı giriş yüzeyi ardışık düzenine yazar.
3. Aşama: İşleme ve iyileştirme
5. Yapay zeka işlemini yürütme: Çerçeve, cihazın GPU'sunda veya NPU'sunda kareyi işleyerek ton eşleme, bulanıklık giderme veya ölçek büyütme gibi makine öğrenimi geliştirmelerini uygular.
6. Geliştirilmiş kareyi yayınlama: Motor, geliştirilmiş tam çözünürlüklü kareyi doğrudan bağlı çıkış yüzeyine gönderir.
4. Aşama: Sonucu görüntüleme veya kaydetme
7. Çıkışı tamamlama: Uygulamanız, işlenen donanım akışı arabelleğini alır ve kullanıcı arayüzünde oluşturur veya depolama alanına kaydeder.
EnhancementSession, kalıcı bir GPU veya NPU bellek ardışık düzeni sağlayan ağır bir bağlam nesnesidir. Özel video RAM'i (VRAM) ve yerel sistem tanıtıcıları tahsis eder. Ciddi bellek sızıntılarını ve olası
OutOfMemoryError kilitlenmeleri önlemek için aşağıdaki yaşam döngüsü ilkelerine uyun:
- Gecikmeli örneklendirme: Kullanıcı bir geliştirme işlemi başlatana kadar oturum oluşturmayın.
- Stratejik yeniden kullanım: Aynı yapılandırmalara (boyutlar ve açma/kapatma seçenekleri) sahip akışları veya kareleri işlerken tek bir oturum örneğini koruyun ve yeniden kullanın.
- İstem kaldırma: Paylaşılan donanım kaynaklarını serbest bırakmak için görsel görevler sonlandırıldığında
session.release()yöntemini hemen çağırın.
Geliştirme motorunu başlatma
Bu yöntem, iki adımlı bir kontrolü yönetir. Cihazın donanımının hızlandırmayı destekleyip desteklemediğini doğrular ve ardından gerekli makine öğrenimi modüllerinin mevcut olduğundan emin olur.
Bu adımı ön koşul olarak çalıştırmak, uygulamanız medyayı işlemeye çalışmadan önce özellikleri doğrulayarak çalışma zamanı başlatma hatalarını önler.
class MediaSetupViewModel(application: Application) : AndroidViewModel(application) { private val enhancementClient = Enhancement.getClient(application) fun initializeEnhancementEngine() { viewModelScope.launch { try { // 1. Verify hardware capability. val isSupported = enhancementClient.isDeviceSupportedAsync() if (!isSupported) { notifyUiDeviceIncompatible() return@launch } // 2. Verify and download the Google Play services ML modules. val isInstalled = enhancementClient.isModuleInstalledAsync() if (!isInstalled) { notifyUiDownloadingModels() enhancementClient.installModule(installStatusCallback).await() } notifyUiEngineReady() } catch (e: Exception) { // Handle potential errors during session creation or image // processing. handleInitializationError(e) } } } }
Uygulama: Yüzey modu (yüzey girişi, yüzey çıkışı)
Surface yürütme modu (EnhancementMode.SURFACE), kareleri CPU ve GPU bellek arabellekleri arasında taşımanın performans yükünü önler. Bunun yerine, geliştirme kitaplığı ham donanım arabelleklerini doğrudan eşler, giriş yüzeyinden kareleri okur, bunları yerel olarak işler ve doğrudan çıkış yüzeyine aktarır.
Tek kare yüzey anlık görüntüleri
Bu yöntem, donanım tarafından kodu çözülen tek bir resim karesine efektleri verimli bir şekilde uygulamak için kullanılır.
// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
imageReader.width,
imageReader.height,
EnhancementMode.SURFACE,
enableTonemap = true,
enableDeblurDenoise = true,
enableFaceDetection = false
).also {
// 2. Bind hardware surfaces
it.setInputSurface(inputSurface)
it.setOutputSurface(outputSurface)
}
// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()