آشنایی با چرخه حیات بهبود رسانه در حالت «سطحی»

‫Media Enhancement API یک راهکار هوش مصنوعی درون‌دستگاهی با تأخیر کم و حافظ حریم خصوصی ارائه می‌دهد که از شتاب سخت‌افزاری برای ارائه بهبودهای رسانه‌ای با کیفیت بالا بدون افزایش حجم APK استفاده می‌کند. برای اطلاعات بیشتر، آشنایی با قابلیت‌های بهبود رسانه را ببینید.

نمودار معماری زیر چرخه حیات اجرای حالت سطح ناهمگام Media Enhancement API را نشان می‌دهد. این حالت میان‌گیرهای سخت‌افزاری را مستقیماً پیوند می‌دهد تا گلوگاه عملکردی کپی کردن قاب‌های غیرفشرده بین میان‌گیرهای حافظه CPU و GPU را ازبین ببرد.

نموداری که چرخه حیات ۷ مرحله‌ای ناهمگام سطح‌به‌سطح Media Enhancement API را نشان می‌دهد.
شکل ۱. چرخه حیات اجرای حالت سطح ناهمگام و هفت مرحله قابل‌اجرا در خط لوله بهبود.

خط لوله بهبود ازطریق مراحل زیر پیاده‌سازی می‌شود:

مرحله ۱. راه‌اندازی جلسه بهبود

۱. ارائه سطح ورودی: برنامه شما دستگیره سطح ورودی را برای دسترسی به فریم‌ها جهت پردازش به چارچوب بهبود ارائه می‌دهد.

۲. تنظیم سطح برونداد: برنامه شما اهداف پردازشی (مانند SurfaceView یا TextureView) را مستقیماً به چارچوب اختصاص می‌دهد و متصل می‌کند.

مرحله ۲. تولید قاب ورودی

۳. آماده‌سازی رسانه پایه: برنامه شما رسانه فشرده‌نشده پایه را بازیابی می‌کند. برای مثال، با خواندن فایل از دیسک محلی.

۴. تزریق داده‌های قاب: برنامه شما بار خالص تصویر خام را مستقیماً در خط لوله سطح ورودی محدود می‌نویسد.

مرحله ۳. پردازش و بهبود

۵. اجرای پردازش هوش مصنوعی: چارچوب، قاب را در واحد پردازش گرافیکی یا واحد پردازش عصبی دستگاه پردازش می‌کند و بهبودهای یادگیری ماشین مانند نگاشت رنگ، رفع تاری، یا ارتقای مقیاس را اعمال می‌کند.

۶. ارائه قاب بهبودیافته: موتور قاب بهبودیافته با وضوح کامل را مستقیماً به سطح خروجی محدودشده ارسال می‌کند.

مرحله ۴. نمایش یا ذخیره کردن نتیجه

‫۷. نهایی کردن خروجی: برنامه شما میان‌گیر جاری‌سازی سخت‌افزاری پردازش‌شده را دریافت می‌کند تا آن را در واسط کاربر ارائه دهد یا آن را در فضای ذخیره‌سازی ذخیره کند.

‫EnhancementSession یک شیء بافت سنگین است که خط لوله حافظه GPU یا NPU پایدار را حفظ می‌کند. این کار حافظه دسترسی تصادفی ویدیویی (VRAM) اختصاصی و دستگیره‌های سیستم بومی را اختصاص می‌دهد. برای جلوگیری از نشت شدید حافظه و ازکارافتادن احتمالی OutOfMemoryError، از اصول چرخه حیات زیر پیروی کنید:

  • نمونه‌سازی تنبل: تا زمانی که کاربر کنش بهبود را شروع نکرده است، جلسه ایجاد نکنید.
  • استفاده مجدد استراتژیک: هنگام پردازش کردن جاری‌سازی‌ها یا فریم‌ها با پیکربندی‌های یکسان (ابعاد و گزینه‌های روشن/خاموش)، یک نمونه جلسه واحد را حفظ کنید و مجدداً از آن استفاده کنید.
  • Prompt teardown: Invoke session.release() immediately when visual tasks terminate to free shared hardware resources.

راه‌اندازی موتور بهبود

این روش یک بررسی دومرحله‌ای را هماهنگ می‌کند. این ابزار بررسی می‌کند که آیا سخت‌افزار دستگاه از شتاب پشتیبانی می‌کند یا نه، و سپس مطمئن می‌شود که ماژول‌های یادگیری ماشین موردنیاز وجود داشته باشند.

اجرای این مرحله به‌عنوان پیش‌نیاز، با اعتبارسنجی قابلیت‌ها قبل‌از اینکه برنامه‌تان برای پردازش رسانه تلاش کند، از شکست مقداردهی اولیه زمان اجرا جلوگیری می‌کند.

class MediaSetupViewModel(application: Application) : AndroidViewModel(application) {
    private val enhancementClient = Enhancement.getClient(application)
    fun initializeEnhancementEngine() {
        viewModelScope.launch {
            try {
                // 1. Verify hardware capability
                val isSupported = enhancementClient.isDeviceSupportedAsync()
                if (!isSupported) {
                    notifyUiDeviceIncompatible()
                    return@launch
                }
                // 2. Verify and download the Google Play services ML modules
                val isInstalled = enhancementClient.isModuleInstalledAsync()
                if (!isInstalled) {
                    notifyUiDownloadingModels()
                    enhancementClient.installModule().await()
                }
                notifyUiEngineReady()
            } catch (e: Exception) {
                // Handle potential errors during session creation or image
                // processing.
                handleInitializationError(e)
            }
        }
    }
}

پیاده‌سازی: حالت سطح (سطح ورودی، سطح خروجی)

حالت اجرای Surface‏ (EnhancementMode.SURFACE) از سربار عملکرد جابه‌جایی قاب‌ها بین میانگیرهای حافظه CPU و GPU جلوگیری می‌کند. به‌جای آن، کتابخانه بهبود مستقیماً میانگیرهای سخت‌افزاری خام را نگاشت می‌کند، فریم‌ها را از یک Surface ورودی می‌خواند، آن‌ها را به‌صورت بومی پردازش می‌کند، و مستقیماً به یک Surface خروجی هدایت می‌کند.

عکس‌های آنی سطح تک‌فریم

این روش برای اعمال کارآمد جلوه‌ها روی یک قاب تصویر رمزگشایی‌شده سخت‌افزاری استفاده می‌شود.

// Provisions input Surface (for example, ImageReader) and output Surface (for
// example, SurfaceView)
val inputSurface: Surface = imageReader.surface
val outputSurface: Surface = surfaceView.holder.surface
// 1. Configure parameters for SURFACE mode
val surfaceOptions = EnhancementOptions(
    imageReader.width,
    imageReader.height,
    EnhancementMode.SURFACE,
    enableTonemap = true,
    enableDeblurDenoise = true,
    enableFaceDetection = false
).also {
    // 2. Bind hardware surfaces
    it.setInputSurface(inputSurface)
    it.setOutputSurface(outputSurface)
}

// 3. Create the session to process the hardware frame
val singleFrameSession = enhancementClient.createSessionAsync(surfaceOptions, executor)
// The API processes the single frame. Upon completion, release the session.
singleFrameSession.release()